第二代導彈產生於20世紀50年代末至60年代中期。這一代導彈將陸基導彈由地麵發射改為地下井發射；潛射導彈由水麵發射改為水下發射。美國有陸基洲際導彈“民兵”Ⅱ，水下發射的潛地導彈“北極星”A2。蘇聯在此期間發展了SS-9、SS-11、SS-13陸基洲際導彈和SS-N-4、SS-N-5潛地導彈。與此同時，還發展了對付中低空目標的防空導彈。第二代反坦克導彈也提高了命中精度，同時發展了車載、機載反坦克導彈。