但前蘇聯人並沒有任美國飛機這樣自由出入得太久，經過一番努力，他們有了對付美國U—2飛機的辦法。1960年5月1日淩晨，一陣急促的電話鈴聲將赫魯曉夫從夢中驚醒，國防部長馬林諾夫斯基向他報告說，一架不明國籍的飛機侵入前蘇聯領空。赫魯曉夫聽後，心想一定又是美國飛機，別的國家是不會侵略前蘇聯領空的。赫魯曉夫下令不要讓這架飛機跑了，一定要把它打下來。前蘇聯防空部隊果斷出擊，一舉擊落了這架U—2飛機，並活捉其飛行員加裏·鮑爾斯。
在冷戰期間，美蘇兩國雖沒有爆發熱戰，但兩國間衝突不斷，有時甚至劍拔弩張，一觸即發。1961年的第二次柏林危機是一個很好的例子。
1961年8月3日，前蘇聯政府照會美、英、法三國政府，並發出最後通牒，要求三國必須在年底以前就有關與德國締結和約以及根據這一和約對西柏林的現狀作出規定的問題予以解決。8月7日，赫魯曉夫又在電視講話中，針對西方國家所宣布的進入西柏林不受民主德國約束，無需征求許可便能來往於該城市的西區問題發出警告，前蘇聯將大大增加自己駐紮在西部邊界軍隊的數量，並且將征召預備役官兵以保證部隊滿員。
赫魯曉夫的這些電視講話，使本已氣氛緊張的西柏林局勢更加緊張。北約部隊處於緊急戒備狀態，以應付突發事件。8月12日，德意誌民主共和國也加強了對本國邊境控製，關閉西德之間的邊境，對於那些被允許出入雙方邊境的人們頒發一種特別通行證，同時還修築起了有名的柏林牆。這引起西方國家的強烈抗議。北約部隊向東推進，華約軍隊向西前進，雙方在柏林牆的兩側槍炮相對，戰爭一觸即發。但關鍵時刻，西方國家退讓了。他們對東德的做法予以承認，還默認了柏林牆的存在。赫魯曉夫也有所克製，收回了在年底前同民主德國簽訂和約的意見。
第二次柏林危機以雙方共同讓步而和平解決了，但雙方劍拔弩張、一觸即發的場景永遠地留在了曆史的記錄中。這隻是雙方進行的眾多較量中的一次。
1959年，在卡斯特羅的領導下，古巴革命取得了勝利，走上了社會主義道路。美國對這個美洲唯一的社會主義國家采取敵視態度，不但自己出兵幹涉，而且在美國培植古巴反政府武裝，並對古巴實施經濟製裁。為了尋求支持，1962年7月初，由菲德爾·卡斯特羅的弟弟勞爾·卡斯特羅率領的古巴軍事代表團來到莫斯科。他們同前蘇聯軍方領導人舉行了長達一個多星期的會談。討論的主要問題是前蘇聯向古巴提供軍事援助和派遣一定數量的軍事專家。前蘇聯當即決定，將提供給古巴帶有核彈頭的中程導彈以及能夠運載原子彈的轟炸機。很快，準備運往古巴的必要設備開始迅速裝配，同時裝滿軍火的前蘇聯船隻也陸續駛離前蘇聯，前往古巴。到9月份，前蘇聯導彈已經運抵古巴，發射台正在加緊建設，運到古巴去的伊爾—28轟炸機部件也正緊鑼密鼓地組裝。
前蘇聯的這一大膽舉動被美國U—2飛機偵察到。美國迅速召見了前蘇聯駐美國大使多勃雷寧。同時，美軍相應地調整軍事部署，派遣一支由180艘美軍戰艦組成的特遣艦隊在加勒比海集結待命，命B—52轟炸機輪換不停地在空中巡邏，同時調6個步兵師到佛羅裏達，並處於一級戰備狀態。美軍還對來往船隻進行檢查，嚴密封鎖了古巴。赫魯曉夫得悉後，自然不甘示弱，他命令部隊進入戰備狀態，還對美國的軍事行動提出抗議，並命開往古巴的船隊繼續前進。雙方再次發生了軍事對峙。
蘇美雙方也不願打仗，一開戰，隻能是兩敗俱傷，因此雙方都非常克製。在經過一番勇氣和耐力的較量後，赫魯曉夫率先表態，如果肯尼迪解除對古巴的封鎖，不再威脅它，前蘇聯就把部署在那裏的導彈撤走或銷毀。緊接著又提出以美國撤出在土耳其部署的導彈為交換條件，同美國討價還價。美國總統肯尼迪向赫魯曉夫保證，部署在土耳其的導彈也將被撤走，但是前蘇聯必須拆除部署在古巴的一切進攻性武器。赫魯曉夫接受了肯尼迪的建議，這樣，古巴導彈危機結束了。二戰之後的世界，如此地接近戰爭的邊緣還是第一次，美、蘇達成一致時距美國陸、海、空三軍對古巴發動進攻的預定時間僅有24小時。
赫魯曉夫的粗魯、我行我素和做事不計後果導致前蘇聯在外交上極其被動。這給他的政敵提供了借口，他們趁機發起反對活動。
1964年10月12日，黨中央委員會主席團在克裏姆林宮舉行會議，主要任務是撤銷赫魯曉夫的一切職務。會上，赫魯曉夫在15個方麵受到指責，雖然他堅決不接受對自己的指責，但沒有人再支持他。會議最終解除了赫魯曉夫的一切職務，並選出了黨中央第一書記勃列日涅夫和部長會議主席柯西金。赫魯曉夫就這樣黯然下台。西方觀察家認為，此時是赫魯曉夫體麵下台的最佳時刻。