1955年，在中國人民解放軍授予大將軍銜的10人中，粟裕排名第一。而這也是對他在戰爭年代和新中國成立後作出重大貢獻的肯定。早在幾年之前，朱德在一次會議上就曾經講過:粟裕是學習毛澤東軍事思想的楷模，他在蘇中戰役中，消滅的敵人，比他自己的兵力還多。朱德這個評價對粟裕戰爭指揮才能是恰當的，對粟裕在整個戰爭時期的傑出表現是恰當的，對粟裕在新中國成立後的卓然成就也是恰當的。
1952年，當朝鮮戰場硝煙彌漫之際，美帝國主義的飛機肆無忌憚地侵犯鴨綠江兩側上空，狂轟濫炸，給誌願軍後方造成重大破壞。5月，粟裕與空軍領導談話時說，正在進行的朝鮮戰爭就是鍛煉部隊很好的機會，空軍要利用朝鮮戰爭求得鍛煉。5月15日，中央軍委召開會議，周恩來副主席傳達了毛澤東主席關於空軍殲擊機赴朝輪番實戰鍛煉一次，抓緊實戰鍛煉的指示。很快，粟裕提出了空軍在朝鮮作戰的方針建議。根據敵我空軍裝備、技術、人員情況及作戰實踐，提出空軍“目前作戰方針，仍以鍛煉為主”，“作戰目標，以打小機群、中機群為主，避免與敵大機群決戰”。他還建議各軍區空軍司令員及所屬司令部人員，分別派人到丹東輪番參加實戰指揮學習。
當年7月，毛澤東向粟裕索要誌願軍空軍參戰情況的材料，粟裕提出了加強軍空軍建設的重要建議。他說:必須大力加速我國航空工業建設，應當多辦幾個航校，應當在各大城市建立航空俱樂部。這些建議，都得到了毛澤東的讚許和批準。
新中國成立初期，被趕出大陸的國民黨軍隊盤踞東南沿海島嶼，妄圖卷土重來。1954年，粟裕參與製訂了關於加強對台灣蔣軍積極鬥爭的軍事計劃。同年，中央軍委頒布了《關於對台灣蔣匪軍積極鬥爭的軍事計劃與實施步驟》，粟裕帶人立即進行對敵鬥爭部署，確定首先攻打浙江沿海大陳島西北10公裏處的一江山島。一江山島是大陳島國民黨軍的外圍重要據點，隻要拿下這個島，大陳島敵軍就失去了一道屏障。
華東軍區向軍委上報了《關於進攻一江山島作戰計劃方案》，毛澤東主席批示讓彭德懷、粟裕考慮時機。彭德懷、粟裕召集有關軍區領導來京彙報，他們根據了解的情況，認為目前可以打這一仗，報請毛澤東同意後，決定1955年1月18日開始攻擊一江山島。18日8時，空軍和海軍航空兵拉開登陸戰役序幕，由51架飛機組成的強混合編隊，在12架戰鬥機的掩護下，飛臨一江山島上空，對敵指揮部、炮陣地以及其他重要設施，實施猛烈轟炸突擊。航空兵剛撤出一江山島上空，頭門山和白岩山兩島海岸炮陣地開始實施炮擊。
在空軍和炮兵火力支援下，護衛艦、護衛艇和火箭炮船編隊抵達一江山島，進行登陸作戰。經過激戰，解放軍拿下一江山島製高點，占領全島。粟裕指示登島部隊要加強防空，構築工事，挖坑道，疏散隱蔽船隻和器材，防備敵海空軍反撲;把過去國民黨軍遺留在江蘇、浙江沿海的活動碉堡運去使用;派部隊搜索並占領百夾山。19日，解放一江山島戰役勝利結束，共殲敵1000多人，繳獲火炮20多門。隨後，解放軍解放大陳、披山、漁山、南麂山諸島，浙江沿海島嶼全部解放。從此時起，華東沿海的對敵軍事鬥爭重心轉移到了福建方向。粟裕關注的重點也隨著南移到了福建沿海。
1958年，粟裕在中央軍委擴大會議遭到錯誤批判，被解除了總參謀長的職務，調任軍事科學院副院長，此後一直多年負責軍事科學院的常務工作。“文化大革命”中的1967年3月，周恩來找粟裕談話，對他說:“現在國防係統已處於半癱瘓狀態，大部分老同誌都站不住了……你過去有戰功，毛主席說過話，現時打不倒，你來支撐這個局麵吧!”(見《共和國珍聞》第495頁)粟裕毅然受命，擔任國防工業軍管小組組長。其後由於他經常向周恩來反映情況，為林彪、江青所不容，周恩來隻好安排他到北部邊疆去視察工作。