王祥於東漢末年出生於山東琅琊臨沂（今山東臨沂縣）。
王祥是西漢忠臣諫議大夫王吉的後代。他早年喪母，一年冬天，繼母想吃活魚，他臥冰求鯉，成為二十四孝之一。
漢末，王祥攜弟扶母避亂廬江，隱居三十餘年，不肯出山到官場與小人同流合汙。
繼母去世後，王祥應徐州刺史呂虔之聘，擔任別駕，曾率軍平寇，使一州太平無事，百姓作歌頌揚道：“海沂之康，實賴王拜；邦國不空，別駕之功。”
後來，王祥被舉薦為秀才，出任溫縣縣令，升任大司農。
魏國曹髦繼位後，王祥拜為光祿勳，轉司隸校尉，遷任太常，封萬戶亭侯，擔任三老，做了皇帝的老師。晉武帝司馬炎建立晉朝後，拜王祥為司空，進爵為公，加七官之職。
王祥臨終前曾留下遺囑，即千古聞名的《訓子孫遺令》。這篇名文從薄葬講到立身，講到如何流芳百世，是對其子孫的諄諄教誨，也是對世人的有益教導。
王祥在這篇名文中說：“人生在世，有生也有死，這是自然之理。我已經85歲，即使死了又有什麼遺憾？如果沒有臨終遺言，會使你們沒有遵循的原則。我生於漢末，多次被薦舉，得以一展才華，但我並沒有輔佐君王之功，死了也無法報恩。我斷氣後隻要給我洗洗手和腳就行了，不要麻麻煩煩地為我洗頭發洗身子，也不要用綢布纏包屍體。把我的舊衣服洗一下，將平時所穿的衣服給我穿上就行了，不要特意縫製新衣。皇上賜給我的山玄玉佩、衛氏玉玦、係印的絲帶和盛器都不要隨葬。西芒山上土質又硬又純，不要再用磚石壘砌，更不要築墳。墓穴隻挖二丈深，外棺隻要能容納內棺即可。不要設靈堂、擺靈座、置鏡匣，棺材隻要能放下一張床就行了。幹飯幹肉各置一盤，薄酒隻須一杯，作為早晚祭奠的祭品。家人大大小小都不要為我送葬，到一周年祭日和兩周年祭日時再供牛、豬祭品。你們千萬不要違背我的遺命。當年，高柴因父母去世而泣血三年，孔子說他愚。閔子騫服孝期滿，去見孔子，孔子讓他彈琴，琴聲依然悲切，孔子說他孝。心裏有我就行了，不要流於形式。喪葬期間如何飲酒吃飯，自有古人定下的製度。言行能經得住審核，這是最高的信；推辭讚美主動攬過，這是最高的德；揚名耀祖，這是最大的孝；兄弟和樂，這是最大的悌；麵對金錢而能推讓，這是最高尚的了。這五點，是做人立身之本，你們要終身奉行。”
這篇移風易俗的名文，對後世一直起著指導作用，其意義是不可估量的。