曾紀澤一到達聖彼得堡就馬上展開了緊張的談判準備。國內的左宗棠已經進軍伊犁地區，摩拳擦掌。曾紀澤致信左宗棠，希望他在前線積極備戰，同時將沙俄的軍隊情況和伊犁情況及時反饋到聖彼得堡。崇厚談判時，連伊犁地形都不知道，現在曾紀澤能及時掌握前線敵我情況，做到了知己知彼。
與俄羅斯人的談判，曾紀澤遭遇了巨大的困難。他經曆四個回合的艱苦談判，才最終扭轉了形勢。
第一個回合，曾紀澤在聖彼得堡立足未穩，沙俄外交部不等他說明來意，就斷然拒絕對伊犁一事重新磋商，不僅堅持《裏瓦幾亞條約》有效，還叫囂對中國開戰。
曾紀澤冷靜分析了俄方強硬反應的背後情形。沙皇俄國在1873到1876年爆發了經濟危機，在1877年、1878年的俄土戰爭中又元氣大傷，1879年又趕上了大災荒，國內矛盾激化。二三十年來，沙俄財政一直拮據，曾紀澤判斷他們也想早日結束和中國的糾紛，更不會和中國開戰。有了這個基本判斷後，曾紀澤談判的腳步堅定了許多，對前景樂觀了不少。曾紀澤還判斷，俄國的競爭對手英國並不願意看到俄國增長在中亞和中國的勢力。英國等西方列強更不願意看到戰爭在中國爆發。所以，沙俄現在的反應是典型的外強中幹，他們隻是製造戰爭輿論，想拖延時間而已，希望能把《裏瓦幾亞條約》拖成既成條約。
於是，曾紀澤平靜地來到俄外交部，詢問俄國拒絕談判的原因。俄國外交部推說曾紀澤並不是談判的中方全權代表，不具備談判伊犁問題的資格。而且，崇厚是一等公使，曾紀澤是二等公使。一等公使簽訂的條約清朝尚且不批準，與二等公使簽訂的條約能有效嗎？這些借口對毫無外交常識的門外漢或許有用，但對曾紀澤則一點作用也沒有。他據理反駁說，公使不分一等二等，都是國家的全權代表，都有權代表本國政府談判。任何外交代表和其他國家簽訂的條約，都要經過本國政府的批準才能生效。既然清朝政府沒有批準《裏瓦幾亞條約》，這個條約就是一堆廢紙。沙俄要想解決這個問題，就要和曾紀澤重開談判。
沙俄無言以對，又受到了國際輿論壓力，不得不在1880年8月3日重新坐到伊犁問題的談判桌上。曾紀澤取得了第一回合的勝利。
第二個回合的較量剛開始，曾紀澤就提出了修改《裏瓦幾亞條約》的意見，堅持俄國必須交還伊犁全境，邊界照過去的中俄條約辦理，俄國可以得到若幹商務利益，但需要再談。他的要求幾乎全盤否定了《裏瓦幾亞條約》，俄國人毫不退縮地提出了反要求，堅持《裏瓦幾亞條約》的基本條款，清朝答應割地的還是要割，而且要增加賠款金額。作為回報，沙俄同意對若幹不甚重要的條款再開談判。沙俄代表甚至搬出俄國與之前侵占新疆的阿古柏政權的條約，堅持賴在伊犁，拒絕撤退。曾紀澤反駁說阿古柏是入侵者，政權是不合法的，況且已被消滅，俄國與阿古柏政權的所有條約都是非法的。沙俄又稱俄軍“代管”伊犁消耗了大量的人力物力財力，不能撤軍。曾紀澤說既然你們承認伊犁是清朝領土，那麼“代管”已經越權，賴著不走就是侵略了。
在第二回合中，雙方爭執不下，沒有達成任何共識。
在第三個回合開始時，專門回國處理伊犁問題的沙俄駐華公使，中國通布策說，曾紀澤難纏，但是總理衙門好打交道。布策建議直接向清朝政府施加壓力，先用武力恫嚇慈禧太後和總理衙門，清朝國內屈服後自然會給曾紀澤施加壓力，最終達到迫使曾紀澤在談判桌上讓步的目的。
於是，沙皇亞曆山大二世下令俄國艦隊向中國靠攏，布策返回中國依仗戰艦逼總理衙門妥協。沙俄代表則照會曾紀澤，俄國拒絕就伊犁問題與曾紀澤繼續磋商，談判地點將改在大清國的首都北京，俄國已派出首席談判代表布策帶著艦船起程，直接和總理衙門舉行會談。