魏長賢將信送出之後，忽覺一身輕鬆。對於他的無辜受屈，不少人為他憤憤不平，而他卻處之泰然，這很受人稱讚。魏長賢決心在屯留大幹一番，用政績來為自己洗冤，以行動來展示自身的價值。然而，在肮髒齷齪的政治環境中，正直的人是難有立身之地的，他的理想又一次被黑暗的現實給粉碎了。沒有說明原因，朝廷下令撤銷屯留，而魏長賢卻沒有得到新的任命，這使他終於明白，兼善天下的機遇已經一去不複返，剩下的他隻有獨善其身。於是，他以健康欠佳為由，辭去官職，回到鄴城定居。本來他想回館陶，傍依先人墳塋，詩書自娛，了此一生，可是撰寫《晉書》的熾熱使命感使他不得不留在鄴城。不管怎麼說，鄴城是京師所在，如今雖不在位，但通過往日故舊知己，幫助搜尋資料還是可能的；要是去館陶，那就難為其事了。
“太上有立德，其次有立功，其次有立言。”這是儒家傳統的人生境界，說的是理想的人生最好是完善德行，其次是建立功業，最後是樹立言論。能完成這三項中的任何一項，不論政治地位高低，也能流芳百世，永垂不朽。魏長賢清楚地知道，對自己來說，立德、立功都不可能了，他隻有寄希望於立言。因此，回到鄴城，在經曆短暫惆悵迷惘之後，又很快振作起來。雖說賦閑，物質生活清苦，精神生活還是富足的。他訪友求書，探幽索微，收集史料，決心在新的天地找回自己的人生價值。577年，周武帝宇文邕滅齊，為訪求人才，幾次下達文書征召魏長賢，這時他對武夫的暴政已經徹底失望，便同樣以疾病為借口拒絕了，此後，再沒出仕。
光陰似箭，瞬間十多年過去了，魏長賢也已年過半百，但還沒有兒子，這絕後的恐懼不時折磨著他，使他惶惶，使他憂傷；而如今，在流離中竟然得子，可見皇天有眼，魏氏該當後繼有人。
魏長賢深切了解，時不與我，自己這一生是難有作為了，立言的計劃也隨鄴城的焚毀、圖籍的散佚而遭流產。如今，他隻有把希望寄托在幼子身上，他決心用自己的全部心血澆灌這初生的嫩芽。他想，自己的祖上也是有過光輝業績的，自身雖未能光耀門庭，一定要讓兒子再興門楣，重振家聲。
經過多日的惶惶奔走，尋找住宅，購置產業，魏長賢終於把家室安頓下來，他鬆了一口氣，總算保全了初生嬰兒和愛妻的平安，足以告慰祖、父在天之靈。然而，緊接著他又開始了新的憂慮，這今後的日子怎麼過呢？賦閑多年，本來就並不豐裕的家業在逐日遞減，遷居新址，另置產業，已感拮據，看來非得另謀生路不可。
他分析這裏的情勢，內黃置縣，雖始於漢初，但其築城的曆史還是悠久的。早在河亶甲定都相時，就在縣南13裏築有古殷城，後來，他的兒子祖乙（中宗）死後也葬在附近，就是今內黃縣西南25裏的商王中宗陵。公元前482年，吳、晉、魯會盟，吳王夫差與晉定公姬午爭為盟主，曆史上有名的黃池之會便發生在縣南40裏的地方。內黃還是著名賢者蘧伯玉的故鄉。春秋時，蘧伯玉為衛大夫，為人寬厚正直，一生追求品德完美，不斷自我否定，勇於改過，受到孔子禮敬，稱他為“君子”。內黃又是西漢名臣倪寬任過職的地方，倪寬千乘（今山東高青縣）人，曾為內黃令，修渠灌田，使百姓獲利甚多，為紀念他的功德，人們特稱該渠為“倪公渠”。這些深厚的文化積澱，孕育了內黃的民風民俗，“尚禮義，樂耕桑，好儒雅，衣冠文物之盛，仿佛鄒魯之風，”魏長賢想，在這樣的文化環境中開學館，招生徒，應當是一個切實可行的選擇。憑自己的學識、人品、資曆，該不會沒人來登門拜師吧！這既為當地培養了人才，也可以開辟一些財源，以充家用。