年幼的劉裕在從母家住下之後，他的父親劉翹又重新娶了妻子，新娘是洮陽縣令蕭卓的女兒蕭文壽，很快劉裕就有了兩個同父異母的弟弟：劉道憐和劉道規。幾年後，劉翹去世，繼母蕭文壽把劉裕接回了家，究竟是劉翹先去世，還是劉裕先回家，史料中記載並不明確。
雖然在眾多文學作品中，繼母常常是一副凶神惡煞的模樣，但劉裕的繼母肯定不屬於這種類型。因為劉翹已死，劉家的經濟狀況更加窘迫，蕭文壽拖著三個孩子艱難度日。劉裕也在這種日子中漸漸長大，成為一個“身長七尺六寸（約186米），風骨奇特”的健壯青年。總的來說，蕭文壽待劉裕很好，而劉裕對這位繼母也非常孝順。不知是不是因為名字中帶個“壽”字，老太太福壽雙全，一直活到八十一歲，劉裕的兒子劉義符做皇帝時才去世。
不過除了孝順之外，青少年時代的劉裕身上基本也就沒有什麼優點了。他不好讀書，僅粗識文字，整日遊手好閑，沒有固定職業，靠賣履的微薄收入補貼家用，似乎還不如當小吏的父親。掙不到錢也就罷了，還偏偏染上了賭博的惡習，賭技又很差，到處欠賬，很被鄉鄰瞧不起。於是，京口世家的家長們在教育下一代時，都不用到遠處去找反麵典型了，隻需要說：“你再不努力上進，將來和劉寄奴一起賣草鞋去！”
有一天，劉裕賭博輸大發了，欠下了當地大土豪驃騎諮議刁逵三萬錢的賭債！這筆錢大概相當於當時一位縣太爺大半年的工資，對於當時身無長物的劉裕來說是一筆巨款，他當然還不起。還不起的結果是他被刁逵的下人抓住綁了起來，一頓好打。此時幸虧他的一位闊朋友——驃騎長史王謐（mì）幫他還了賭債，才算勉強過關。後來的曆史證明：劉裕有驚人的天賦，奈何術業有專攻，他的才華並不在賭博上，但他的賭徒性格卻伴隨了他一生。
王謐，字稚遠，琅琊臨沂人，乃東晉名臣王導的孫子。這個如假包換的高幹子弟，大士族出身，如何會與當時的小混混劉裕認識呢？
這就說來話長了。據說，劉裕有一次去京都建康，回京口的途中在一個小客棧休息。小客棧的老板娘對他說：“裏邊有酒，要喝自己拿。”劉裕好酒，進去就喝了個醉，倒地便睡。過了一會兒，王謐一個家住京口的門生正好途經這個小客棧。因為都是熟人，老板娘招呼他：“劉寄奴在裏邊，你們一起喝一杯吧。”不料這門生才一進裏屋，便嚇得跑出來，驚問老板娘：“裏邊是什麼東西？”老板娘進去一瞧，還是劉裕在睡覺，便出來悄悄問這門生：“剛才你看見什麼了？”門生答：“剛才看見一個怪物，生得五彩斑斕，好像蛟龍，不是劉裕。”後來，門生把這則奇聞告訴了王謐，王謐忙吩咐他別亂說。此後，王謐開始結交上這個不起眼的劉寄奴，時時厚禮相待（見《宋書?符瑞誌》）。
如果這件事不是虛構的，很可能這個門生是劉裕的鐵哥們，兩人合作演了一出雙簧，來詐騙王謐的錢財。從後來劉裕不論是在戰場還是在政壇，出老千時都能麵不改色心不跳的心理素質來看，這種可能性還是很大的。不管是不是這個原因，反正王謐與劉裕交上了朋友，並為他還了賭債。多年後王謐驚喜地發現：這是他一生中回報率最高的一筆投資！
不過這隻潛力股當時還看不出有增值的跡象，不管在製鞋業還是博彩業都不像大有前途的樣子，他的機會究竟在哪兒呢？