但湯思退卻不肯罷休，陰謀陷害抗戰派首領張浚，趁張浚出朝視察前線軍隊之機，指使黨羽右正言尹穡攻擊張浚擁兵跋扈，浪費國用，抗拒朝廷命令，主和派又囂張起來。在太上皇宋高宗的幹預下，宋孝宗再次動搖屈服，從前線召張浚還朝，罷去相位，改授閑差。張浚途徑餘幹，得病死去，時年六十七歲。
張浚一死，宋孝宗最終決定議和，派魏杞出使金國。兵部侍郎胡銓、太學正王質等上書反對。湯思退知道宋孝宗內心深處還是想抗金，擔心抗戰派繼續上書反對，宋孝宗又會跟上次一樣，再次動搖，便先下手為強，將反對撤兵割地的二十多名抗戰派大臣逮捕入獄。尤其可恥的是，湯思退還派人去金國通消息，要金人出動大兵來威脅議和。金人得到情報，於十月間再發兵渡淮南侵，進攻楚州。知楚州魏勝奮勇抗敵，戰死。都統製劉寶棄城逃跑。金軍又攻占濠州、滁州、商州。
湯思退的陰謀後來敗露，南宋朝野群情激憤，紛紛彈劾湯思退。宋孝宗不得不罷免湯思退出朝。但湯思退勾結敵人、奸邪誤國，民憤實在太大，太學生張觀等七十二人聯名上書，請殺湯思退、王之望、尹穡三人，以此來謝天下。湯思退當時正在貶黜的途中，聽到消息後，竟然憂懼而死。而王之望、尹穡二人隻被罷官了事。
此時，在金軍的武力威脅下，宋孝宗不得不屈辱求和。除割讓海、泗、唐、鄧四州，又割去商、秦（今甘肅天水）兩州；交換的條件隻是雙方世為叔侄之國，宋帝正皇帝之稱，不再向金稱臣，改稱侄皇帝；原來的“歲貢”改稱“歲幣”，每年金銀、絹各減至二十萬兩匹。這便是恥辱的“隆興和議”，也稱為“乾道之盟”，“隆興”、“乾道”均為宋孝宗年號。和議成立後，宋金雙方保持了約四十年的和平關係。
宋孝宗雖與金國訂立了隆興和議，但又不甘於就此妥協，他獨掌用人大權，親自處理政事，繼續作收複失地的打算。為此，親力親為的宋孝宗忙得不可開交，曾對身邊的人說：“我每天都要遊行全國一周（指處理各地文件）。”他積極選賢任能，準備任用一批和自己同樣有誌恢複的大臣，被一度閑置的老將虞允文便被重新起用，任參知政事兼同知樞密院事，成為兩副相之一。
本來宋孝宗還準備讓虞允文任宰相，但主政的參知政事錢端禮一心想當上宰相，多方阻撓虞允文。不久，錢端禮因接受玉帶被吏部侍郎章服彈劾，並說玉帶是經虞允文轉送，後來雖然查明純屬誣告，但虞允文還是被迫去職。不過，宋孝宗念念不忘隆興和議之恥，而虞允文是朝中抗戰派的主要代表，後來還是被任命為宰相。
虞允文執政後，在各地修築城防，積極準備北伐。宋孝宗對他極為信任，曾說：“丙午（靖康元年，1126年）之恥，當與丞相（指虞允文）共雪之。”就在此期間，禦史蕭之敏彈劾虞允文擅權不公。宋朝的台諫製度相當厲害，虞允文不得不自請罷政待罪。在關鍵時刻，太上皇宋高宗竟然出人意料地站出來為虞允文說話，而且話說得相當擲地有聲：“采石之戰時，他蕭之敏在那裏呢？”意思是說當年虞允文在采石之戰中力挽狂瀾時，他蕭之敏還不知道在哪裏呢。虞允文因此被複職，而蕭之敏也被貶官。
乾道八年（1172年），宋孝宗派虞允文到四川整軍備戰。宋孝宗對虞允文此行寄予厚望，親自到正殿為虞允文餞行，並特許虞允文在殿門乘馬，持節度使儀仗出京城。這是非常特殊的禮遇。虞允文離開京師前，宋孝宗鄭重其事地與虞允文約定：“如果你出兵，朕未出兵，那是朕負你，如果朕出兵，你未出兵，則是你負朕。”預定由虞允文從四川、山西出兵，宋孝宗派朝廷主力進軍兩淮，雙方最後在河南會師。由此可以看出，宋孝宗對虞允文的信任有限，否則也不會一再強調“你負我”還是“我負你”的話了。這不僅是宋孝宗一個人的問題，長期以來，宋朝對手握重兵的將領信任都相當有限，這也是宋太祖“杯酒釋兵權”後最直接的後果。
虞允文到四川後，在軍事上采取了一係列措施：適當增加將士的俸祿，使能養家以提高士氣；養馬戶可以免除賦役，由此鼓勵養馬，以增加馬匹數量；又聽取大將秦琪的意見，改變兵力分散的狀況，以使軍勢首尾相應。虞允文積極備戰，但卻一直沒有明確提出出兵的計劃。等了一年多，宋孝宗實在沉不住氣了，以密詔催促虞允文盡快發兵。虞允文由於軍需未備，不願倉促出兵。宋孝宗為此相當不滿。虞允文深知宋孝宗的心意，為了不負厚望，日夜奔忙，“戴星乘馬，冰滿鬢髯”，終於積勞成疾，於淳熙元年（1174年）二月辭世，時年六十四歲。