但南詔仍在觀望，並沒同吐蕃公開決裂，韋皋爭取南詔的同時對吐蕃采取攻勢。陰曆10月韋皋派遣部將曹有道率精卒與東蠻、兩林蠻聯合進攻吐蕃，吐蕃青海、臘城二節度率兵迎戰，雙方大戰於州台登穀，吐蕃名將大兵馬使乞藏遮遮英勇獻身於殺場，吐蕃兵士死傷兩千多人，但州仍在吐蕃手中。乞藏遮遮是吐蕃一位衝鋒陷陣的驍將，自戰沒後，吐蕃軍隊銳氣受挫。
公元791年（唐貞元七年），南詔雖未給韋皋回音，但每當吐蕃發兵時南詔出兵的數目愈少。陰曆6月韋皋派遣原南詔使者、後留在唐朝任討擊副使的段忠義出使南詔，勸說異牟尋歸唐，吐蕃知道後派使者責問，異牟尋辯解說：“唐使，本蠻也，皋聽其歸耳，無他謀也。”
並執送到吐蕃。但吐蕃對南詔的不信任感增強，將南詔許多大臣的兒子不知用什麼名堂帶到吐蕃，作為人質，吐蕃自以為是很明智的做法，卻起了反作用，異牟尋更加怨恨吐蕃。吐蕃還鼓勵勿鄧酋長苴夢衝，讓他煽動群蠻，隔絕南詔使者通往唐朝之路。為對付吐蕃的這一策略，韋皋遣三部落（兩林、勿鄧、豐琶）總管蘇危率兵至琵琶川，於第二年公元792年（唐貞元八年），捕獲並斬殺了聽命於吐蕃的苴夢衝，打通雲南道，從此唐朝的軍隊可直達南詔境。陰曆8月韋皋攻吐蕃維州，俘虜吐蕃大將論讚熱，但仍未攻下維州城。吐蕃與雲南間的互相猜忌日益加深，每當南詔出動軍隊時，吐蕃亦發兵，口頭說是互為照應，實際是吐蕃已深感南詔不可靠。韋皋又乘機去信南詔，提出共同襲擊吐蕃，保持南詔的獨立地位。公元793年（唐貞元九年），陰曆5月韋皋出兵西山，攻下吐蕃建立的堡柵五十餘處，韋皋軍事上的勝利，使異牟尋下定脫離吐蕃的決心，從三路派使者到達成都，自稱唐雲南王孫、吐蕃讚普義弟日東王，表示歸唐之心。提出了四忍四難忍：
……神川都督論納舌使浪人利羅式眩惑部姓，發兵無時，今十二年，此一忍也；天禍蕃廷，降釁蕭牆，太子弟兄流竄，近臣橫汙，皆尚結讚陰計，以行屠害，平日功臣，無一二在。納舌等皆冊封王。小國奏請，不令上達，此二忍也；又遣訥舌逼城於鄙，弊邑不堪。利羅式私取重賞，部落皆驚，此三忍也；又利羅式罵使者曰：“滅子之將，非我其誰？子所富當為我有。”此四忍也。
今吐蕃委利羅式甲士六十侍衛，因知懷惡不謬，此一難忍也；吐蕃陰毒野心，輒懷搏，有如生，實汙辱先人，辜負部落，此二難忍也；往退渾王為吐蕃所害，孤遺受欺。西山女王，見奪其位。拓拔首領，並蒙誅刈。仆固誌忠，身亦喪亡。每慮一朝，亦被此禍，此三難忍也；往朝廷降使招撫，情心無二，詔函信節，皆送蕃廷。雖知中夏至仁，業為蕃臣，吞聲無訴，此四難忍也。
南詔最忌諱的是吐蕃籠絡其周邊的部落冊立封王，《蠻書》卷四施蠻條雲：“（施蠻）本烏蠻族也。鐵橋西北大施體、施賧、斂尋皆其所居之地。……部落主承上皆吐蕃偽封為王。”《蠻書》順蠻條亦雲：“（順蠻）本烏蠻種類，初與施蠻部落參居劍、共諸川，羅皮、鋒羅望既失登川、浪穹，退而逼奪劍共，由是遷居鐵橋已上，其地名劍羌，在斂靈賧西北四百裏……其部落主吐蕃亦封王。”
而神川都督公開利用矣羅識（即利羅式）招誘浪人（凡登賧、浪穹、施浪三詔總謂之浪人），並想把矣羅識立為詔主，吐蕃目的是以此分化南詔的力量，扶持許多更親近吐蕃的小諸侯。因而南詔特別擔心吐蕃利用其他部落替代南詔的地位，南詔歸附唐朝自有其苦衷。南詔的叛離和韋皋的節節進攻，使吐蕃在川滇地區的處境十分不利，搖擺不定在吐蕃與唐朝間的兩麵羌———西山八國也向唐朝靠攏。公元794年（唐貞元十年），韋皋派出的使者崔佐時到達南詔都城羊苴咩，時吐蕃使者數百人正在南詔活動。異牟尋本有所顧忌，經崔佐時等人的勸說，異牟尋公開同吐蕃決裂，取消吐蕃所封的名號，異牟尋和崔佐時舉行會盟。決定共同對付吐蕃，而唐與南詔間則互不侵犯。