張儀重獲自由後，沒有馬上離開楚國，而是遊說楚懷王：“秦國的領土占天下的一半，兵力可以抵擋四個國家。秦國一旦出兵，就會席卷高山天險，可以折斷頂天脊梁。天下遲臣服於秦國的就會先滅亡。主張合縱之策的，跟驅使羊群與猛虎搏鬥差不多。如今大王不跟猛虎交往，而是與羊群為伍，我私下裏覺得大王的策略是錯誤的。秦國與楚國邊境互相接壤，在地形上原本就是親近的國家。希望大王能聽從我，與秦國長久成為兄弟關係的國家，世代互不侵犯。我認為這計策沒有比這更好的了。”
此時的楚懷王雖已得到了張儀，但難於出讓黔中之地，就想認同張儀的連橫之策。三閭大夫屈原說：“當初大王遭張儀欺騙，張儀到了楚國，我以為大王會烹殺他。而現在居然不忍心殺他，且又聽信他的胡言亂語，這實在荒唐。”楚懷王卻執意聽從張儀，跟秦國親善。
接下來，張儀接連穿梭於韓、齊、趙、燕等國，說服各國國君放棄合縱之策，改而與秦國親善。
完成了連橫聯盟的建立，張儀回到秦國準備報告秦惠王。可他還沒有到達鹹陽，秦惠王就去世了，秦武王繼位。還是在做太子時，秦武王就不喜歡張儀這個人，登基後，又聽群臣反映：“張儀沒有誠實之心，到處賣國來謀取私利。秦國若再重用他，將被天下人嗤笑。”各諸侯國聽說秦武王與張儀有隙，又紛紛放棄連橫之策，重新組成合縱聯盟。
秦武王元年，張儀懼怕被殺，遂向秦武王獻計：“我有一個不成熟的計謀，願意奉獻給大王。聽說齊國國君非常憎恨我張儀，我所在的國家，除了秦國，他必然出兵進攻。因此我願意大王讓我去魏國，齊國必須出兵魏國。魏、齊兩國在城下難解難分之時，大王就趁機進攻韓國，並控製函穀關，以進逼周朝。由此一來，周朝的祭器一定會交出來，大王就能挾天子，掌握一切，這可成就了帝王之業了！”秦武王聽從了他，給他準備了三十輛兵車，讓張儀去了魏國。齊國果然開始攻打魏國，魏哀王十分憂慮。張儀卻說：“大王不要憂慮，我能退卻齊軍。”張儀馬上派出家臣馮喜到楚國，再作為楚國的使者前往齊國，對齊湣王說：“張儀準備從秦國出來時，對秦武王說：‘齊國國君非常憎恨我張儀，我所在的國家，他必然出兵進攻。因此我願意大王讓我去魏國，齊國必須出兵魏國。魏、齊兩國在城下交戰之時，大王就趁機進攻韓國，並控製函穀關，以進逼周朝。由此一來，周朝的祭器一定會交出來，大王就能挾天子，掌握一切，這可成就了帝王之業了’。秦武王遂聽從了張儀，給他準備了三十輛兵車，讓張儀去了魏國，大王果然攻打魏國，這是使大王的國家國內疲憊，國外與友邦交惡，並使自己帶來禍患的策略，從而使張儀進一步得到秦武王的信任。所以我認為，大王出兵進攻魏國，完全是有利於張儀的！”齊湣王聽完，說：“對。”於是派人從魏國撤回軍隊。
就這樣，張儀在魏國擔任了一年的相國，然後死在魏國。