羊侃，字祖忻，泰山梁甫人，少年時有奇才，身高八尺，愛好文史，廣泛閱讀書籍，尤好《左氏春秋》和《孫吳兵法》。剛成年時隨父親在梁州討伐氐族立功。北魏正光年間，任別將。當時秦州有羌人莫遮念生占據州城造反，自稱帝，派遣他的弟弟莫遮天生率部眾攻克歧州，接著進攻雍州。羊侃被任為偏將，隸屬肖寶寅前往討伐，他藏身在坑壕中，伺機一箭射死天生，天生部眾也隨即潰散。因功升為使持節、征東大將軍、東道行台，兼領泰山太守，進爵為钜平侯。
起先，他的父親有南歸的誌向，常對他幾個兒子說：“人生哪裏可以長久留在異鄉，你等可以回到南方去。”到此時羊侃想以河濟地區投降南朝以實現父親的誌向。但是羊侃的堂兄，兗州刺史羊敦知道後，在兗州阻拒羊侃。羊侃率領三萬精兵襲擊他，未得成功，於是築十餘城守著，並派使者到梁朝。梁朝宣布，對羊侃的獎賞與元法僧相同，並派遣羊鴉仁、王弁率領軍隊去接應，李元履運送糧食和武器。北魏皇帝聽說後，派使者去授予羊侃驃騎大將軍、司徒、泰山郡公，長為兗州刺史。羊侃斬了使者，北魏大驚，命令行台尚書左仆射於暉率領數十萬軍隊，還有高歡、爾朱陽都等部隊相繼而至，包圍羊侃十餘圈，羊侃城柵中矢已用完。傷亡慘重，而南朝梁的軍隊還沒有來到，於是在夜晚突圍而出，邊戰邊行，跑一晝夜才出北魏的境界。到了渣口，還剩有一萬多人，二千匹馬。快進入南朝境內，士兵們都整夜悲傷地唱家鄉的歌，羊侃對他們說：“你等懷念故土，按理就不能隨我來南朝，現在去留就由你們，可在這裏分別。”各人拜謝辭別而去。
大通三年，羊侃到了梁的都城建康，梁武帝下詔授給他使持節、散騎常侍、都督瑕丘征討諸軍事、安北將軍、徐州刺史，他的哥哥羊默和三個弟弟羊忱、羊給、羊元都拜為刺史。不久任命羊侃為都督北討諸軍事，外出屯兵日城，剛好陳慶之行軍失利，停止前進。這年，下詔任他為持節、雲麾將軍、青冀二州刺史。
中大通四年，下詔任使持節，都督瑕丘諸軍事，安北將軍、兗州剌史，隨從太尉元法僧北伐。元法僧先啟奏說：“我與羊侃有老交情，願意與他同行。”梁武帝於是問羊侃作戰計劃謀略，羊侃詳細予以陳述。梁武帝聽了後說：“知道你願意與太尉同行。”羊侃說：“臣離開北土回到朝廷，常常想為國效命，然而實在未曾願與元法僧同行。北人雖然認為臣是吳人，而南人已經稱臣為北虜。今與法僧同行，還是北虜之間同類相角逐，非但違背我一向的心願，也使北方少數民族輕視漢人。”梁武帝說：“現在朝廷需要你同行。”就下詔任命他為大軍司馬。梁武帝對羊侃說：“軍司馬這官位廢置已久，現在為你才設置。”行軍到官竹，同行的元樹在譙城作戰失利，喪失了軍隊。回軍後，授官為侍中。中大通五年，封高昌縣侯，食邑千戶。六年，離京出任為雲麾將軍、晉安太守。閩越地區有反上作亂的風氣，前後太守都不能阻止平息，羊侃來到後討伐出擊，斬了他們的首領陳稱、吳滿等，於是郡內安定清靜，沒有人敢再反亂。不久，征召為太子左衛率。
大同三年，皇帝到樂遊苑去玩，羊侃同時參加了宴會。當時少府上奏說新造成了一種兩刃長矛，長二丈四尺，刃寬一尺三寸，梁武帝賜給羊侃一匹馬，命他試舞。羊侃拿矛上馬，左衝右刺，英武美妙，梁武帝連連稱讚。梁武帝又賦了《武宴詩》三十韻給羊侃看，羊侃立即應詔隨韻作詩。梁武帝看了後說：“我聽說有仁的人一定有勇，今天見到有勇的人有仁，真所謂鄒、魯遺風，孔孟英賢不絕。”大同六年，升遷為司徒左長史。八年，升為都官尚書。當時尚書令何敬容掌權，羊侃與他同在尚書省。但卻沒有去拜訪他。有宦官張僧胤去拜訪羊侃，羊侃說：“我的椅子不是閹人坐的。”竟不接見。當時人認為他正派有氣節，十分讚賞。九年。離京出任使持節。壯武將軍、衡州刺史。
太清元年，征召為侍中。剛好大舉北伐，就任命羊侃為持節、冠軍，負責監督建造寒山堰的事。經過二十天，堰建造成。羊侃勸元帥貞陽侯蕭淵明乘著水勢進攻彭城，未被采納。後來北魏援兵大量到來，羊侃又反複勸蕭淵明趁他們遠道而來加以襲擊，第二天又勸出戰，都不被采納，羊侃就率領自己的軍隊駐紮到堰上。後來蕭淵明大軍失敗，羊侃擺好了戰陣徐徐退回。
太清二年，重新任命羊侃為都官尚書。侯景反叛，攻陷曆陽，梁武帝問羊侃討伐侯景的計策。羊侃說：“侯景反叛的跡像早已顯現，他可能侵擾南下，應該馬上占據采石，命邵陵王綸襲取壽春。侯景這樣進退維穀，烏合之眾，自然會分崩離析迅速瓦解。”有些人認為侯景不敢馬上進逼京師，因此，這個計劃也就暫時擱下了，命令羊侃率領千餘騎兵駐屯在望國門。侯景到了新林，朝廷馬上調羊侃入京師，成為台內大都督宣城王蕭大器的副手，任都督城內諸軍事。當時侯景突然到來。百姓競相入城，社會秩序一片混亂。羊侃就布置分配防衛力量，以宗室人員參雜其間。軍人們爭先恐後進入武庫，裝備自己，有關官員不能阻擋，羊侃下令斬殺數人，方才阻止。不久侯景賊軍逼近京城，人心惶惶不安，羊侃假稱得到了城外射入的書信，內說：“邵陵王蕭綸、西昌侯蕭淵藻的援兵已經到了附近的路上。”大家才稍稍安定。賊軍進攻東掖門，縱火焚燒，火勢很盛，羊侃親自領兵抵抗，他在門上鑿空，往下澆水，火終於撲滅。他又引弓射殺數人，賊軍才退走。詔加羊侃侍中、軍師將軍。有詔書命令送金五千兩，銀萬兩，絹萬匹，賞賜給戰士，羊侃辭謝不受。他自己帶來的部隊千餘人，都用私產加以獎賞。