1929年，35歲的赫魯曉夫來到莫斯科，在斯大林工業學院學習冶金，並擔任學院黨委書記。1935年，由於他監督建成莫斯科地鐵，被授予列寧勳章，並在這一年當上莫斯科市長。在斯大林搞大清洗運動期間，赫魯曉夫積極支持斯大林的工作，並參加了在黨的領導層內進行的大清洗工作。到1939年，赫魯曉夫成為政治局正式委員。在1941～1949年這一段時間內，赫魯曉夫都在地方工作。1949年，斯大林把他調回莫斯科，重新擔任莫斯科市委第一書記，同時兼任全蘇中央委員會書記。在斯大林去世以前，赫魯曉夫在莫斯科的日子過得並不舒心。政治嗅覺敏銳的他知道自己隻不過是斯大林宮廷政治的一顆微不足道的棋子。為了不成為政治鬥爭的犧牲品，他夾起尾巴做人，從不願在斯大林麵前展現自己；並且也因為莫斯科大規模重建，麵臨著許許多多的問題。但他十分關注莫斯科州的農業問題，開始在莫斯科州推行其“農業城鎮”的計劃。但由於不切合實際，當時掌管農業工作的中央政治局委員馬林科夫認為他的思想還不成熟，並且斯大林對此也不喜歡。於是赫魯曉夫的天才設想就暫時被扼殺了。
但這並沒有使他在斯大林心目中的地位有所動搖，在1952年10月5日召開的黨的第十九次全國代表大會上，赫魯曉夫進入主席團常務委員會，五個常務委員會成員負責處理國家最重大緊要的問題。1953年3月5日，斯大林病逝，但他沒有交代好接班人問題，因此赫魯曉夫等人為了取得最高權力相互之間展開了明爭暗鬥。
斯大林病逝後，赫魯曉夫最害怕的是最高權力落於野心家、陰謀家貝利亞之手。如果貝利亞得手，對黨和國家有百害而無一利，因此赫魯曉夫想方設法加以阻止。
除了貝利亞想攫取最高權力外，馬林科夫也有同樣的野心。在這場激烈的爭鬥中，赫魯曉夫小心翼翼地活動著，他不想因一著不慎而導致自己翻船。赫魯曉夫首先與布爾加寧就此問題達成一致意見，但僅憑兩人的力量顯然不行，在他的積極活動下，又取得了朱可夫的支持，這對他是一個很大的鼓舞。但必須得到馬林科夫的首肯，因為馬林科夫一直是斯大林班底中最有權勢的人物。可他想不到的是，老奸巨猾的貝利亞已搶先一步說動了馬林科夫，兩人在權力分配問題上取得了一致意見，這樣馬林科夫和貝利亞兩人暫時結成同盟。麵對強大的兩個權勢人物的聯盟，赫魯曉夫暫且屈服了。他想隱忍下來以相機而動。
貝利亞掌握著強大的國家安全機構——內務府，起分支機構和特工人員遍布於全國上上下下所有的組織和部門中。並且，貝利亞也統轄著保護克裏姆林宮及所有蘇維埃政府中高官和中央主席團成員的衛隊。貝利亞趁為斯大林舉行葬禮之機，將大部分軍隊調到首都附近，有的團隊幹脆在市內屯紮。這樣做目的非常明確：發動軍事政變，奪取最高權力。貝利亞的幫凶們也積極謀劃，為貝利亞奪權掃清道路，他們將“醫生謀殺案”的調查局頭子清除出去。當然貝利亞對赫魯曉夫也不敢放鬆警惕，他密切注視著赫魯曉夫的一舉一動。自然，貝利亞的這些活動也在赫魯曉夫的掌握之中。他意識到貝利亞快要動手了。
為了盡快采取行動，逮捕貝利亞，赫魯曉夫終於下定決心去說服馬林科夫，以取得他的支持。馬林科夫雖與貝利亞結成了臨時同盟，但無時無刻不在提防著貝利亞，而且他也受不了貝利亞那種唯我獨尊、頤指氣使的傲慢勁。他知道，貝利亞根本沒把他放在眼裏，而且正妄圖取得最高權力。因此馬林科夫以為是采取行動的時候了，他同赫魯曉夫共同製定了逮捕貝利亞的行動計劃，並決定在部長會議主席團或中央委員會主席團的某次會議上采取行動。
1953年7月，部長會議主席團和黨中央主席團將要舉行一次聯席會議。在會議召開前夕，馬林科夫就解除貝利亞職務問題取得了伏羅希洛夫的認可。赫魯曉夫同米高揚商談，但未取得他的支持。但赫魯曉夫管不了那麼多了，他必須立即動手。回到克裏姆林宮後，知道了伏羅希洛夫的態度，他知道可以動手了。於是他找了個地方坐下，專等貝利亞進來。貝利亞進來落座後，會議開始了。除了米高揚外，大家一致譴責貝利亞。馬林科夫早已等得不耐煩了，他按計劃逮捕了貝利亞。這樣赫魯曉夫和馬林科夫少了一個強有力的競爭對手。
赫魯曉夫深知馬林科夫野心也不小，也是自己通往最高權力的一個障礙，必欲除之而後快。貝利亞被逮捕後，馬林科夫成了權勢人物，但隨著內務部——國家安全部領導集團的解體，權力重心已經發生了轉移。作為部長會議主席的馬林科夫有事必須向取得最高權威的黨中央主席團和書記處彙報。並且已經倒台的貝利亞又栽贓陷害他，使得他非常被動。1953年9月，赫魯曉夫當選為黨中央第一書記，馬林科夫逐漸退出權力重心。在紛繁複雜的權力鬥爭中，赫魯曉夫技高一籌，逐漸取得最高權力。
曾在30年代斯大林發動的大清洗活動中積極參與並對斯大林的工作予以積極支持的赫魯曉夫，並不是不想出人頭地。但在斯大林麵前，善於偽裝的他總是夾緊自己的尾巴，老老實實做人。但當他大權在握之後，他已無須再忍了，以前的卑卑怯怯代之以大膽行動。