納爾瓦戰役後，年少氣盛的瑞典國王查理十二以為俄軍已被徹底擊敗，不再對他構成威脅，便調兵南下，進攻波蘭，追擊奧古斯都二世的薩克森軍。彼得一世則通過這次戰爭進一步看清了俄軍的落後性，於是乘機大力進行軍事改革，加強軍事實力。1701—1702年，俄國鑄造大炮368門，增加新軍團10個。到1708年，俄國總兵力已達20萬，而當時瑞典總兵力隻有11萬。同時他還鞏固和重建反瑞同盟，力圖使瑞典陷入波蘭戰場，以利其在波羅的海的軍事行動。為了阻止薩克森退出戰爭，讓薩克森把瑞典拖在波蘭戰場，1701年2月26日，彼得一世同奧古斯都二世再次簽訂反瑞典同盟條約，規定俄國向薩克森派出1.5—2萬人的軍隊，資助10萬盧布的軍費；奧古斯都在西部引誘查理，以使俄國在卡累利阿、英格裏亞向瑞典展開進攻，戰後將愛沙尼亞、立沃尼亞劃歸薩克森。為爭取波蘭參戰，彼得一世還向奧古斯都二世另撥2萬盧布，用以賄賂波蘭議員。
俄、薩再簽同盟條約後，彼得一世便趁瑞軍主力深入波蘭國土作戰之機，向波羅的海東岸和立沃尼亞大舉進攻。從1701年年底至1704年8月的兩年多中，俄軍連續攻占了馬連堡、諾特堡、尼恩尚茨堡、雅姆、克伯利亞、傑爾別特、納爾瓦、伊凡哥羅德等重要城鎮和港口，肅清了這一帶的瑞典軍，再次打開了俄國通往歐洲的門戶。在攻打諾特堡時，彼得一世以炮兵大尉的身份親臨戰場，參加了戰鬥。諾特堡建在涅瓦河河口的一個島上，有兩俄丈厚的城牆環繞，防衛十分堅固。彼得一世調集了14個團的兵力，首先對該城連續炮擊了兩個星期，然後發起總攻。俄軍架起雲梯，瑞典軍頑強抵抗，推倒梯子，將滾燙的開水和熱鬆晶油從城頭潑下。這樣，經過一天激戰，俄軍才占領了城堡。戰後，彼得一世十分感慨，喻之為“堅硬的胡桃”，並把它改名為什利謝利堡，意為“通向海洋的鑰匙”。也就是說，攻占了諾特堡，就等於掌握了打通波羅的海出海口的鑰匙。
占領諾特堡後，俄軍很快又奪取了涅瓦河上的尼恩尚茨堡。這樣，俄國完全控製了涅瓦河。彼得一世清楚，瑞典人不會善罷甘休，他們肯定會卷土重來奪回這些城堡。為了加強這一帶的防禦，把涅瓦河以及這些城堡永遠置於俄國的控製之下，1703年5月16日，他派人進行實地考察後下令在涅瓦河河口的一個小島——盧斯特·艾蘭特島即快樂島上建一座城堡。不久，一座有6個轉角塔樓的城堡便在這裏矗立起來。這就是著名的聖彼得堡。之後，彼得一世產生將其建成首都的念頭，進行了大規模擴建。從1713年起它成為沙皇俄國的首都，直至俄羅斯帝國的覆滅。
當彼得一世指揮的俄軍在波羅的海東岸和立沃尼亞頻頻取勝的時候，查理十二率領的瑞典軍隊在立陶宛、波蘭也取得一係列勝利，先後攻占了維爾諾、格羅德諾、華沙、克裏科夫等重要城鎮。瑞典軍隊的入侵給波蘭造成巨大破壞，引起波蘭庶民和大部分貴族對瑞典的仇恨。1704年8月，波蘭議會放棄北方戰爭初期所持的中立立場，與俄國在納爾瓦簽訂了反瑞同盟條約，規定波蘭正式加入戰爭，俄軍可以進入波蘭作戰。俄國答應波蘭在戰後可獲得立沃尼亞。該條約使北方同盟重新擴大為俄、薩、波三國同盟。
俄波條約簽訂後，俄國派軍進入波蘭，對瑞典軍造成巨大威脅。1705年年底，俄軍進逼格羅德諾。查理十二旋即率軍來援，逼退俄軍，然後趁勢向東南方向挺進，穿越西裏西亞，進入薩克森，擊敗奧古斯都二世。1706年9月，奧古斯都二世被迫與查理十二簽訂和約，宣布放棄波蘭王位，退出北方戰爭。之後瑞典軍進行了幾個月的休整。1707年夏，查理十二率4萬大軍從薩克森經波蘭向俄國進發，準備收複失地，和俄國決戰。
此時形勢對俄國非常不利。自從開戰以來，查理十二率領的瑞典主力軍幾乎每戰必勝，可謂氣焰囂張，來勢洶洶；俄國苦心經營的反瑞同盟已經瓦解，波蘭也已被瑞典控製，俄國單槍匹馬，處於孤立無援的境地。
麵對這種形勢，彼得一世在繼續加緊進行軍事改革，增強軍事實力的同時，進行了緊張的外交活動，希望荷蘭、英國、法國等出麵調停，在俄國保留波羅的海出海口和聖彼得堡的條件下同瑞典締結和約。但歐洲各國正忙於西班牙王位繼承戰爭，對調停態度冷淡。瑞典則要求收複包括聖彼得堡在內的全部土地。在調停無望的情況下，為了避免兩線作戰，解除後顧之憂，他集中做土耳其的工作，一方麵重金賄賂土耳其高官，另一方麵通過大規模海軍演習進行威懾，阻止其趁火打劫，對俄國開戰。在俄國的軟硬兼施下，土耳其向俄國保證不介入俄瑞戰爭。