由於是隻孤軍，嶽家軍給養困難。轉眼間已是建炎四年初春了，嶽飛卻不能提供最低限度的衣食之類，供土兵們辭舊迎新之用。因饑寒所迫，有的兵士甚至違令私出搶掠。
有人向嶽飛建議移屯常州宜興縣（今江蘇宜興市）。宜興知縣錢諶等人聞知嶽飛之威名，也特地寫信給嶽飛，歡迎他率軍保護縣境，並說縣裏的存糧足供一萬軍人吃十年。
宜興縣東臨太湖，北通常州，西麵又逼近建康府通臨安的大道，確是進可攻、退可守的軍事基地。二月，嶽飛統軍進駐宜興縣，將兵營屯紮在縣城西南的張褚鎮。
原江、淮宣撫司水軍統製郭吉轉當土匪後，也盤踞於宜興縣。嶽飛派人投信，以好言撫慰，約他共同抗金。郭吉卻急忙帶一百艘船，滿載財物逃跑。嶽飛聞訊後，命令部將王貴和傅慶領二千人追擊，俘獲了郭吉的幾乎全部的人和船。傅慶是衛州窯戶出身，他原是劉光世部將，在馬家渡之戰後追隨嶽飛。兩人都是能征慣戰的勇將，成為嶽飛的左右手。
在宜興縣境，尚有三支土匪。馬皋和林聚各有幾千人，嶽飛派遣辯士勸降，得到了成功。另一支土匪，頭目號稱張威武，不肯投降。嶽飛單騎闖進他的巢穴，乘張威武驚愕之際，將他斬死，並收編了其全部人馬。
在內禍外患交迫的歲月裏，廣大民眾的生命財產朝不保夕。居然進駐了一支與眾不同的軍隊，對民間秋毫無犯，這不能不使宜興人民喜出望外，交相稱譽，人們用樸素的語言稱頌嶽飛，說：“父母生我們比較容易，將軍衛護我們卻比較艱難。”
甚至很多外地人也爭先恐後，移居宜興縣避難。按中國古代的隆重禮節，宜興人民出資為嶽飛建造生祠，以表達大家感激之情。古代的祠廟用於尊崇先賢、祖宗，以至神仙鬼怪之類，為活人營建生祠，乃屬特例。當地民眾簡直將嶽飛尊奉為神人，這在古史上是少見其例的。
嶽飛對待河北、河東等地的金人征發的漢人軍隊，一貫將他們視為自己的骨肉同胞，不歧視，不苟待，盡量做爭取工作。於是“嶽爺爺”的聲名遠播，成千上萬的人爭先恐後地前來降附。
在降官如毛、潰兵似潮的逆流中，嶽飛卓爾不群，他以必勝的信念，頑強的毅力和恰當的措置，發展和壯大了自己的隊伍。
這個二十七八歲的青年統製開始擔任主將，他按照自己的意圖和風範，塑造一支抗金勁旅。後來，人民稱這支雄師為“嶽家軍”。
著名愛國詩人陸遊詩雲：“劇盜曾從宗父命，遺民猶望嶽家軍。”嶽家軍當時尚不是一支大部隊，無力挽狂瀾於既倒；但在江南的抗金戰場上，已不愧為中流砥柱。