但是，張儀畢竟是縱橫捭（bǎi）闔（hé）的遊說之士，入秦不久就展現出過人的才華。秦惠文王十年，張儀和秦公子華（桑）率領秦軍圍攻魏國的蒲陽（今山西省隰縣），攻克蒲陽後，張儀乘機推出自己的連橫政策，勸說秦王把蒲陽歸還魏國，並且派公子繇到魏國去做人質，而他將利用護送公子繇入魏的機會與魏王接近，遊說魏王投靠秦國。
到了魏國後，張儀對魏王說：“秦國對待魏國可是真心實意的好啊！得到城邑不要不說，反而又送人質來到魏國，魏國應該想辦法來報答一下秦國，這樣才不失禮呀！”“如何報答呢？”魏王問。張儀一看魏王上鉤，就開始鼓吹聯秦的好處，他說：“魏國如果能送一些地方給秦國，表示誠意，秦國一定會把魏國視為兄弟之國。如果秦魏結成聯盟，合兵討伐其他諸侯國，魏國將來從別的國家取得的土地肯定會比送給秦國的土地多很多倍。”魏王被張儀的花言巧語說動了心，於是就把上郡15縣和河西重鎮少梁獻給了秦國，從此秦魏和好。
張儀的連橫之策首戰告捷。至此，黃河以西地區全部歸秦所有。與此同時，張儀又勸說秦惠文王發兵攻趙，殺其將取其地，威懾中原諸國。
第二年，秦國仿效三晉的官僚機構開始設置相位，稱相邦或相國，張儀出任秦國的第一任相國，代替了公孫衍的大良造之位。公孫衍離開秦國去了魏國，張儀成了秦國權高位重的首席大臣，參與秦國的軍政要務及外交活動。
張儀拜相後，積極為秦國謀劃，破縱連橫。秦惠文王十三年（前325），張儀又親自率軍攻取了魏國的陝縣（今河南省陝縣），修築了上郡要塞，這樣一來，秦軍占據黃河天險，對魏形成極大的威脅。對此，魏國君臣莫不惶恐，竭盡心智，想方設法消解秦國的軍事壓力。公元前324年和公元前323年，魏國接連兩次與齊國會談，希望魏齊交好，依靠齊國的力量與秦抗衡。張儀為了破壞魏齊聯盟，極力拉攏齊國和楚國，由於張儀的作用，齊國不但不幫助魏國，反而和楚國聯合起來攻打魏國。擔任魏國相國的公孫衍為了聯合六國對抗秦國以自保，就發起了“五國相王”運動。所謂“五國相王”，就是魏、韓、趙、燕、中山五國同時稱王，以示相互尊重，結盟拒齊抗楚，共同對付秦國。可是，公孫衍的“五國相王”運動剛一開始，就受到了楚國的迎頭痛擊。當年，楚國發兵攻魏，在襄陵大敗魏軍，占領了魏國的八座城池。魏惠王對齊、楚兩國非常反感，齊、楚、魏三國的關係相當緊張。山東諸國之間的矛盾，給張儀實現連橫之策提供了絕好的機會。公元前323年，張儀出麵邀請齊、楚、魏三國的相國級大臣在挈（qiè）（齧）桑之地（今江蘇省沛縣西南）會談，借為魏國調停之機討好魏國，把魏國從合縱的陣營裏分化出來。果然，魏惠王放棄了公孫衍的合縱政策，接受了張儀聯合秦、韓以對付齊、楚的建議。為了表示聯盟的誠意，公元前322年，魏國和韓國都派出他們的太子來到秦國朝見秦國國君，秦、魏、韓三國關係出現了新的轉機。正因為如此，當張儀被秦免去相國之位後，他來到魏國，魏惠王就毫不猶豫地任命其為魏國的相國。
張儀相魏以後，積極推行連橫政策，確立連秦、韓而攻齊、楚的戰略方針。魏國與秦國邊境接壤，距秦最近，張儀相魏的最終目的是想讓魏國依附秦國，從魏國打開突破口，拆散六國的合縱之約。張儀為了使魏國進一步臣服於秦國，於是便陳說利害，極力拉攏魏王與秦交好。他先從魏國的地理位置入手，分析魏國周邊國家對魏的態度以及魏國四麵受敵的劣勢，借以動搖魏王的信心。他說：“魏國土地縱橫不到千裏，士兵不超過30萬。四周地勢平坦，各國從四麵八方都可以進攻，沒有大山大河的阻隔。從新鄭到大梁隻有200餘裏，戰車馳騁，士兵奔走，不費多大力氣就能趕到。魏國南邊跟楚國接壤，西邊跟韓國接壤，北邊跟趙國接壤，東邊跟齊國接壤，士兵駐守四麵，守衛邊防堡壘的不少於10萬人。魏國的地勢，原本就是戰場。如果魏國向南親附楚國而不親附齊國，那麼齊國就會來攻打它的東麵；向東親附齊國而不親附趙國，那麼趙國就會來攻打它的北麵；不和韓國合作，那麼韓國就會來攻打它的西麵；不和楚國親近，那麼楚國就會攻打它的南麵，這就是所謂四分五裂的地理位置。”
繼而，張儀又恐嚇魏王說：“大王如果不事秦國，秦國出兵攻打黃河以南，占據卷地、衍地、燕地、酸棗，脅迫衛國，奪取陽晉，那麼趙國不能向南支援魏國，魏國就不能向北聯係趙國。這樣一來，合縱聯盟的通路就斷了，合縱聯盟的通路一斷絕。那麼大王的國家很危險了。如果秦國說服韓國攻打魏國，秦、韓兩國一致對付魏國，那麼，魏國離滅亡的日子就不遠了。”
張儀接著又分析了如果魏國與秦結盟的好處，誘勸魏王說：“歸順了秦國，楚國、韓國一定不敢亂動；沒有楚國、韓國的威脅，大王就可以高枕無憂了。秦國所想要削弱的莫過於楚國，而能削弱楚國的莫過於魏國。楚國雖然有著富足強大的名聲，但實際空虛；它的士兵雖多，但是容易敗逃潰散，不能堅持戰鬥。如果全部出動魏國的軍隊，向南攻打楚國，勝利是肯定的。割裂楚國而加強魏國，虧損楚國而滿足秦國，轉嫁災禍，安定國家，這是大好事呢。大王如果不聽取我的意見，秦國將派精兵向東進攻，那時即使想歸順秦國，也不可能了。”