回國後，梅列茨科夫被調往和德國接界的白俄羅斯軍區任參謀長，重新在烏博列維奇指揮下工作。梅列茨科夫除了強調訓練強度以外，還發現白俄羅斯軍區交通狀況不佳，一旦遇到突發事件，不同地域上的部隊將無法聯係，於是在修築軍隊調動所用的道路和改善整個交通線路上進行了大量工作，但因財政撥款不足隻完成了一部分。
1934年，梅列茨科夫在白俄羅斯軍區組織了一次大規模的聯合演習，次年梅列茨科夫和作戰部部長馬特維·紮哈羅夫、羅季翁·雅科夫列維奇·馬利諾夫斯基合作編寫的縱深戰鬥細則開始在部隊中使用。
1936年10月初，西班牙佛朗哥的軍隊開始圍攻馬德裏，蘇聯派出以別爾津為首的軍事顧問團，梅列茨科夫和馬利諾夫斯基、坦克兵專家德米特裏·巴甫洛夫、炮兵專家尼古拉·沃羅諾夫都作為軍事顧問被派往西班牙。
梅列茨科夫來到西班牙後，首先勘察了馬德裏城的地形，然後又到步兵部隊鼓勵因撤退而情緒低落的士兵，協助一步步把組織紀律性不強的西班牙共和國軍隊改組成正規軍。他還勸說西班牙首相弗朗西斯科·卡巴列羅離開馬德裏，前往巴倫西亞組織抵抗。
1936年11月，佛朗哥軍隊開始從正麵進攻馬德裏，梅列茨科夫一方麵協助組織防禦，一方麵負責在阿爾瓦賽特組建國際縱隊。隨著國際縱隊和蘇聯坦克群的投入戰場，佛朗哥軍隊的進攻被擊退。
1937年，佛朗哥決定以意大利遠征軍為主力，從馬德裏的東南麵沿哈馬拉河進攻，希望切斷馬德裏和海港城市的聯係。此時馬德裏防禦委員會主席的軍事顧問格裏戈裏·伊萬諾維奇·庫利克被調回國，梅列茨科夫接替他的職務，具體組織馬德裏的防禦。
1937年2月，梅列茨科夫指揮了哈馬拉河戰役。此次戰役，梅列茨科夫通過有效防禦消耗了叛軍力量，然後通過反擊擊退了叛軍的進攻。3月，他又指揮了瓜達拉哈拉戰役，殲滅叛軍6000餘人，取得了對意大利遠征軍的決定性勝利。回國後，梅列茨科夫獲得1枚紅旗勳章和1枚列寧勳章。
1940年夏季，梅列茨科夫被任命為副國防人民委員。國防人民委員是蘇聯元帥鐵木辛哥。
當時，國際形勢日益惡化。法西斯德國擴大了侵略，比利時和荷蘭遭到了占領者鐵蹄的踐踏，法國北部也被德軍占領。
為了抵禦可能來自德國的進攻，蘇聯國防人民委員部決定在白俄羅斯軍區舉行軍事演習。演習過程中炮兵和坦克進行了實彈射擊，而步兵則實施進攻和防守訓練。各步兵兵團的訓練被認為是令人滿意的，炮兵的訓練水平及其同步兵的協同能力以及空軍的訓練水平都達到了標準。
1941年春季，梅列茨科夫參加了波波夫上將為司令員的列寧格勒軍區的數次演習。演習中指揮人員能正確地完成所接受的任務，部隊訓練有素，攻防有序，他感覺十分滿意。在此之後，梅列茨科夫又去基輔特別軍區檢查了訓練情況。
5月底，軍區司令部作戰部部長巴格拉米揚上校向梅列茨科夫報告了令人不安的情況：無數德軍集中到了蘇聯邊境線的附近。巴格拉米揚還報告了不斷增多的德軍集結的具體數字。
在向莫斯科報告之前，梅列茨科夫決定再將整個情況核查一遍。他去了利沃夫，到了軍區的各個集團軍。各集團軍司令員都提到了同樣的情況。梅列茨科夫還親自在前沿的邊境哨所裏觀察了很長時間，親眼看到了德國軍官們異常活躍的情況。
梅列茨科夫又去了基輔和敖德薩，在敖德薩遇見了軍區參謀長紮哈羅夫少將。梅列茨科夫聽取了他的詳細彙報，從中了解到，這邊國境線上也呈現出一幅令人不安的景象。此後，梅列茨科夫同他一起去了羅馬尼亞警戒線。梅列茨科夫在觀察時發現，對方也有一群軍人在觀察他們。後來得知，這群軍人就是德國軍官。
梅列茨科夫此時真切地感覺到，戰爭已經迫在眉睫。他火速趕往莫斯科，然後同鐵木辛哥一起來到斯大林那裏，講述了他看見的一切以及他的擔憂。斯大林和鐵木辛哥都非常注意這個彙報。聽完彙報後又命令梅列茨科夫去檢查一下空軍的備戰狀況。梅列茨科夫接受任務後，立即飛往西部特別軍區。