牙行，亦稱牙紀、經紀。牙行是經地方政府批準發照設立的，是為買賣雙方議價說合抽取傭金的中介人，目的是避免消費者受生產者的欺詐。但是，也有一些牙紀，並未參與買賣雙方的說合，卻憑空向商人索取傭金，損害商人的利益，這就是不法牙紀。對於不法牙紀的侵權行為，單個商人是無力與其抗爭的，隻有建立會館，依靠集體力量，或訴諸官府，才能打擊牙紀的不法行為。
例如，在京平遙顏料商經營商品中有桐油一項，向來是“必本客赴通（州）自置搬運來京，報司上稅，始行出賣。其由來固匪伊朝夕也”。乾隆十八年（1753年），“無何，有網利傅天德者，既不開行，又不評價，不知執何年月日之帖，平空索取牙用，捏詞疊控，嘵曉不已。幸蒙都憲大人，執法如山，愛民如子，無事聽斷之煩，而宵小之奸洞悉。牌批雲：‘凡一切不藉經紀之力者，俱聽民自便，毋得任其違例需索，擾累鋪戶，致於未便。’煌煌鐵案，炳若日星，不數日弊絕風清，冰消瓦解。誠哉定國複生，尤矣龍圖再世。其在安居樂業者，固應歌功而頌德；即彼營私妄作者，亦自當畏威而遠罪也夫”。[4]
同牙行的鬥爭涉及各行各業，且連續不斷。在某種程度上可以說，商人會館是在牙行、稅務等外在勢力的鬥爭中產生的。會館隻是一種組織手段，目的在於團結眾商、一致對外。
（二）與外商抗衡
除了跟牙行作鬥爭外，晉商會館自鴉片戰爭後，還同在華外商依仗不平等條約做後盾的不法行為做積極的鬥爭。
山西商人在上海的力量，以山西票號為大，通常設有分號二十四五家，並在上海建立了全國獨一無二的“山西彙業公所”。票號自誕生經營票彙之日起，不管彙票上書寫抬頭還是不書寫抬頭，隻要確認彙票無假，也不管誰來兌取，一向是執行“認票不認人”的憑票兌付的製度。這種製度，張三的彙款李四也可兌取，便於彙票轉手和流通，免去了收款人兌款再向售貨人交款的麻煩，深得商界稱讚，堪稱良法。
但是，當彙票成為市場流通的信用工具後，在輾轉流通中，遺失也就成為不可避免的事。當華商彙票遺失向票號掛失後，有一種牟利之人拾得彙票，或與洋商勾結來號兌款，或請洋人出場恫嚇挾製，票號多有受虧。在這種情況下，票號運用“山西彙業公所”的規定，凡遺失的彙票，除向票號掛失外，還要登報聲明和向英美租界會審委員聲明轉飭各洋商一體遵照，藉以防止再發生假外商勢力坑騙票號之事。
但是，洋人不認這一套，繼續坑騙票號銀錢。票號為徹底抵禦外商的侵奪行為，眾票號議決，由“山西彙業公所”董事白雲緯、範家俊出麵，於光緒二十四年閏三月十三日（1898年5月3日），具稟呈送英美租界會審委員，改“認票不認人”為“認票又認人”的製度。
把彙票兌付製度改為“認票又認人”，與外國銀行彙票製度是相符的，於是租界委員詳請上海道照會各國領事並照會律法官備案，英美租界委員於光緒二十四年四月二十六日給諭山西彙業職董，允準了他們的請求。
票號這種反抗外商侵奪和敢於抗衡的精神，深得輿論界稱讚。《中外日報》1898年9月14日載文說：“竊謂租界之上商務雖盛，華洋錯處，苟有此等巨款銀票，遺漏在外，自有一種牟利之人，從中設法，轉求洋人出場相嚇挾持，以為得計，亦意中之事，時所不免。幸票號力量較各號為大，故能齊心一力向各憲呼訴，以雪此數十年暗中之虧，以為後者百年之基。想見其辦事人之毅力為不可及，其識見亦非專斤斤於目前者也。然票號如此，其類於此者，租界之上，恐尚不知凡幾，其默默不言，不能向公堂一呈訴者，必其力薄而心誌不齊故也。然若竟聽其自然，則常此受虧安有終極，何不力訴之於官長，何不登之於各報，以明同其此例，同受此虧，則宜同視此案辦理，當亦有欣然願從者乎！”
當然，敢於和西方商人搞衡，這是晉商的優點，在某種程度上也是其弱點，它使晉商不能正視自己的弱點，從而虛心向西方高人學習，以致走上故步自封、拒絕變革的道路，這在19世紀末20世紀初晉商走向衰敗的時期，表現得最明顯。這裏不是說向外商點頭哈腰就是好的，而是說要在看到自己優點、不畏強暴的同時，也要正視自己的弱點，做到自信而謙虛，才能“師夷之長技以製夷”，在激烈的競爭中走向最終的成功。