斛律金，字阿六敦，朔州人，高車族。高祖倍俟利因威武勇敢而馳名塞外。北魏道武帝時他率領部落內遷歸附鮮卑拓跋部，被賜爵為孟都公。孝靜帝天平年間，斛律金貴盛時，被贈官司空公。
斛律金性格敦厚直率，善於騎馬射箭，行軍打仗則用匈奴戰法，看塵土能推知馬跑的路程多少，從地上聽馬步聲音可知軍隊的遠近。開初被任為軍主，與北魏懷朔鎮將相鈞護送柔然族首領阿那環回北方。阿那環見斛律金射獵，為他的深厚所歎服。後來阿那環入侵高陸，斛律金擊敗了他。孝明帝正光末年，破六韓拔陵謀反，斛律金帶領部眾投奔他。破六韓拔陵授予他王的稱號。斛律金預料破六韓拔陵最終必敗，就統率所部一萬戶到雲州向北魏政府投降，北魏授予他第二領民酋長。不久引兵南出黃瓜堆，被杜洛周打敗，部眾分散，斛律金與其兄斛律平兩人單身投歸爾朱榮，爾朱榮上表請任斛律金為別將，後逐步升為都督。孝莊帝即位後，賜封爵為阜城縣男，加號寧朔將軍、屯騎校尉。隨從官軍擊敗葛榮、元顥，屢有戰功，加號鎮南大將軍。
爾朱榮叛逆作亂，高歡有奪取天下的誌向，斛律金與婁昭、庫狄幹等都讚成高歡的大計謀，於是跟著他樹起義旗。高歡南攻鄴城，留斛律金守信都，兼任恒、雲、燕、朔、顯、蔚六州大都督，委托他處理後方事宜。斛律金另外又討伐李修，大勝而回，加官右光祿大夫。適逢高歡到了鄴，於是斛律金隨從他平定晉陽，追擊消滅了爾朱兆。孝武帝太昌初年，朝廷任命斛律金為汾州刺史、當州大都督，進封為侯爵，跟從高歡在河西打敗紇豆陵伊利。東魏孝靜帝天平初年，遷都於鄴，朝廷命斛律金領步騎三萬鎮守鳳陵以防備西魏進攻，完成任務後，回到了晉陽。他又隨從高歡與西魏在沙苑大戰，失利後回師，由此東雍州諸城重新被西魏軍所占據，後高歡派斛律金與尉景、庫狄幹等人討伐收複了它。孝靜帝元象年間，宇文泰重新向河陽大舉進攻，高歡率部隊討伐抵抗，他派斛律金直往太州，成夾擊之勢。斛律金到晉州，因軍隊退兵不再前行，就與行台薛修義共同包圍喬山的敵人。不久高歡到達，於是共同把它討平。接著隨從高歡攻下南絳、邵郡等數城。孝靜帝武定初年，北豫州刺史高仲密據城叛入西魏，宇文泰進攻洛陽，高歡派斛律金統率劉豐，步大汗薩等共有數萬步兵騎兵守衛河陽城抗拒他。高歡到後，斛律金與他一同大敗高仲密。回軍後，授官做大司馬，改封石城郡公，食邑一千戶，轉為第一領民酋長。武定三年，高歡出兵襲擊山胡，分為兩道，以斛律金為南道軍司，由黃櫨嶺出擊；高歡自己從北道出擊，度赤繹嶺，與斛律金會合於烏突戍，聯合擊敗了它。軍隊歸來後，出任為冀州刺史。武定四年，下詔命斛律金率領部隊從烏蘇道與高歡在晉州會合，接著一起進攻玉壁。軍隊歸來時，高歡讓斛律金總督全軍，一起回到了晉陽。
世宗高澄繼承高歡的皇位後，侯景占據潁川向西魏投降，朝廷下詔書派斛律金統領潘樂、薛孤延等固守河陽來防備。西魏指使大都督李景和、若幹寶率數萬騎兵和步兵打算從新城出發援助侯景。斛律金率領部隊停頓在廣武等待襲擊它，李景和等聽到消息後退走。回軍後，斛律金被任命為肆州刺史，仍然率領自己的部隊在宜陽修築楊誌、百家、呼延三個戍，安置了守備而回。侯景走向南豫州，西魏儀同三司王思政進入和占據了潁川。高澄派高嶽、慕容紹宗、劉豐等率領部隊包圍它，再次命斛律金統領彭樂、可朱渾道元等軍屯兵到河陽，用以切斷他的逃走和來救援的道路。又詔命他率領部隊會攻潁川。此事平定後，再命斛律金率領部隊從阪送米到宜陽，西魏九曲戍將馬紹隆占據險要阻擊，斛律金打敗了他，因功另封安平縣男。