人這一生有風有浪、有順有逆、有高有低，隻有秉持著謙卑的姿態行走其間，才能順利通過所有門庭。
羊祜是名副其實的官宦子弟，他的外公便是大名鼎鼎的東漢蔡邕，其胞姐則是晉景帝司馬師的獻皇後。不過，羊祜為人一身清風、謙恭有加，並無半點官宦子弟的驕奢習氣。
羊祜年輕之時便已聲名遠播，曾被薦舉為上計吏，州官4次邀請他做從事、秀才，五府也召他出來做官，但均被他一一謝絕了。因此，有人將他比作孔子最得意的門生——謙恭好學的顏回。正始年間，大將軍曹爽專權，曾欲啟用羊祜和王沈。王沈得信後，滿心歡喜地勸羊祜與他一起去應命就職，羊祜對此頗為不然，淡淡答道：“委身於人，談何容易！”後來，司馬懿發動高平陵政變，曹爽失權被誅，王沈受到牽連而被免職。王沈後悔沒有聽羊祜的話，對他說道：“我應該常常記住你以前說的話。”羊祜聽後，並沒有炫耀自己有先見之明，反而謙虛地表示：“這不是預先能想到的。”
晉武帝司馬炎稱帝以後，鑒於羊祜輔助有功，遂任命他為中軍將軍，加官散騎常侍，封郡公，食邑三千戶。對此，他堅決推辭，於是改封為侯。雖然名位顯耀，但羊祜對於王佑、賈充、裴秀等前朝有名望的大臣，一直秉持著謙虛的態度，從不將其視為自己的屬下。
後來，為表彰羊祜都督荊州諸軍事等功勞，皇帝加封他為車騎將軍，地位等同三公，羊祜再次上表推辭，他在奏章中寫道：“臣入仕方十餘年，便在陛下的恩寵之下占據如此顯要的位置，因此無時無刻不為自己的高位而戰戰兢兢，榮華對我而言實屬憂患。我乃外戚，隻因運氣好才能事事辦得順利，自當警誡受到過分的寵愛。但陛下屢屢下詔，賜予了我太多的榮耀，這讓我怎麼承受得起，又怎能心安得了？現在朝中，有不少德才兼備之士，比如光祿大夫李熹高風亮節，魯藝潔身寡欲，李胤清廉樸素，卻還都沒有獲得高位，而我隻是一個無德無能的平庸之輩，地位卻在他們之上，這讓天下人作何感想？怎能平息天下人的怨憤呢？所以乞望陛下收回成命。”但皇帝沒有應允。
羊祜身事兩朝，手掌要權，地位顯赫，但他本人對權勢的欲望卻非常淡然，但凡舉薦某人升遷，事後絕不張揚，以至於很多被舉薦者一直不知道羊祜曾有恩於自己。
羊祜一生清廉、儉樸，除官服外，平時隻穿素布衣裳，朝廷發放的俸祿也大多用來周濟族人或是賞賜軍士，家無餘財。
羊祜臨終之時囑咐子嗣，不可將南城侯印放入棺木。他的外甥齊王司馬攸為此上表晉武帝，表明羊祜不願按侯爵下葬的意願，武帝下詔說：“羊祜一生清廉、謙讓，誌不可奪。其身雖去，但美德仍在。這便是伯夷、叔齊被尊為賢人，季子能夠保全名節的原因所在啊！現在我下詔恢複原來的封爵，以表彰愛卿的高尚德馨。”
毫無疑問，羊祜這一生是成功的，他的謙恭令天下百姓、滿朝文武乃至一國之尊，無不對其敬佩有加。