在伊凡三世統一羅斯的事業中，最具決定意義的是征服諾夫哥羅德。當時的諾夫哥羅德是一個獨立的封建共和國，由於其經濟發達，擁有遼闊的領地，被稱為“羅斯諸共和國的首領”。讀者可能會問，諾夫哥羅德怎麼是“封建共和國”呢？原來，早在1126年基輔羅斯陷入分裂之時，諾夫哥羅德的“波雅爾”（貴族）即開始通過“衛徹”（市民大會）從自己的人中選舉市政官，改變了由基輔大公委派市政官的做法，使王公的政權形同虛設。1136年，諾夫哥羅德人民發動起義，弗塞沃洛德王公及其家屬被衛徹逮捕，由封建領主和富商把持的衛徹掌握了政權。衛徹不隻選舉市政官，也選舉軍隊統領“千人長”和主教等重要職務。從此諾夫哥羅德成為波雅爾共和國，即封建共和國。雖然有時它也臣屬某一王公，但王公無權幹涉其內部事務，隻限於在戰時統率軍隊。一旦王公同衛徹發生衝突，王公就被趕走，由衛徹另請新的王公。
莫斯科大公伊凡三世把諾夫哥羅德看作是自己的世襲領地，早就圖謀吞並。對此，諾夫哥羅德統治集團中以地方行政長官伊薩克·鮑列茨基的遺孀瑪爾發·鮑列茨卡婭及其子為首的一夥“親立陶宛派”堅決反對，他們擔心莫斯科大公的集權統治會使自己喪失權力、土地與財富，公開叫嚷諾夫哥羅德不能做莫斯科大公的世襲領地，並於1470年同波蘭國王和立陶宛大公卡西米爾四世結盟。卡西米爾四世立即派基輔王公米哈伊爾·奧列利科維奇坐鎮諾夫哥羅德。諾夫哥羅德的“親立陶宛派”還計劃將瑪爾發嫁給米哈伊爾，以加強雙方的關係。
對此，伊凡三世當然不能坐視不理。他首先請羅斯總主教菲利普出麵譴責“親立陶宛派”的背叛行為，勸說他們放棄與波蘭—立陶宛的結盟。勸說無效後，他便召集莫斯科大公國的王公、領主、將軍等舉行會議，決定征討諾夫哥羅德。1471年6月，莫斯科軍隊出發，7月14日，兩軍在舍隆河畔決戰。雙方投入的兵力極為懸殊：莫斯科軍隊為4000人，諾夫哥羅德軍隊則為4萬人。但由於莫斯科軍隊集中統一指揮，人人奮勇，個個爭先，以一當十，諾夫哥羅德各封建主的軍隊則一盤散沙，各自行動，十不頂一，諾夫哥羅德大敗，1.2萬人被殺，1.7萬人被俘。在北德維納河戰場，人數同樣隻有4000人的另一支莫斯科軍隊擊敗了為數1.2萬人的諾夫哥羅德軍隊。
諾夫哥羅德戰敗了，它不得不和莫斯科簽訂和約，保證不反對莫斯科大公，不投身立陶宛政權，接受莫斯科大公的裁判權和全權代理人地位，繼續交納貢稅。謹慎的伊凡三世這次並沒有吞並諾夫哥羅德，而是表現得很有節製，在他看來，吞並的時機還沒有到來。
但“親立陶宛派”並不甘心失敗，他們又重新聚集在地方行政長官瓦西裏·阿納寧周圍，恣意踐踏百姓，暗中和波蘭—立陶宛勾結。飽受“親立陶宛派”領主們蹂躪的諾夫哥羅德下層百姓請求莫斯科大公為他們申冤作主。1475年10月，伊凡三世來到諾夫哥羅德，在地方行政長官、大主教和領主們的列席下開庭審判，將瓦西裏·阿納寧等人以謀逆、叛變罪逮捕，戴上鐐銬押解到莫斯科。此舉既打擊了“親立陶宛派”的囂張氣焰，又贏得了諾夫哥羅德黎民百姓的支持擁護，可謂一舉兩得。他在諾夫哥羅德停留期間，為了籠絡人心，不分尊卑貴賤給人們分贈禮物，仔細聽取人們的申訴，給人們留下了一個仁慈、慷慨、公正的君主形象。
到1477年，伊凡三世認為吞並諾夫哥羅德的時機已經成熟，便尋找借口，采取行動。這年3月，諾夫哥羅德的兩位使者——衛徹書記紮哈爾和傳令官納紮爾來到莫斯科，他們在呈文中稱伊凡三世為“國君”，而非過去的“君主”。據此，伊凡三世認為諾夫哥羅德已把自己看作它的“國君”，便遣使到諾夫哥羅德詢問具體細節，問他們是否希望設立國君的法庭和行政機關。但諾夫哥羅德統治集團答複說他們根本不希望這樣，並矢口否認曾派遣紮哈爾和納紮爾兩位使臣，也不曾稱伊凡三世為自己的“國君”，表示不準備廢除“老規矩”。伊凡三世聞訊大怒，指責諾夫哥羅德出爾反爾，背信棄義，決定率軍征討。10月9日，莫斯科軍隊出發，沿途幾乎沒有遇到抵抗，迅速挺進，11月即兵臨諾夫哥羅德城下，將其團團包圍。諾夫哥羅德無力抵抗，隻得進行談判，接受了伊凡三世的全部要求。從此諾夫哥羅德歸由大公的全權代理人管轄，諾夫哥羅德所管轄的大片領地轉歸伊凡三世，一部分領主被遣送到莫斯科，其世襲領地也轉歸伊凡三世。衛徹製度被廢除，數百年來以其鍾聲召集諾夫哥羅德人參加衛徹的那口大鍾也被拆了下來，運往莫斯科。1478年1月15日，伊凡三世作為諾夫哥羅德人的“國君”向全體諾夫哥羅德人宣誓，諾夫哥羅德的全體領主、貴族及其子弟也宣誓效忠莫斯科大公。諾夫哥羅德被莫斯科大公國兼並了，此舉使莫斯科公國的土地擴充了好幾倍。