居亂世 苦掙紮 風流雲散
濟時艱 開利源 走向新岸
開口岸 洋商至 晉商轉衰
《紅樓夢》中有一段判詞用來描述山西富商的衰敗也較為恰當：
家富人寧，終有個家亡人散各奔騰。
……
歎人世，終難定！
為官的，家業凋零；
富貴的，金銀散盡。
晉商從事的行業很多，他們興起於鹽糧生意，在清末鹽商、糧食商、茶商從事的行業早已衰落時，又有票號生意一枝獨秀。將晉商推到發展的新高點，不過最終應了句老話：“月滿則虧，水滿則溢。”當他們迅速衰敗時，也如俗語所說的“登高必跌重，樂極悲生，否極泰來，榮辱自古周而複始”。
清末民初，晉商衰落與內外因有關。鴉片戰爭後，在國家主權喪失，中國愈來愈深地陷入半殖民地半封建社會的情況下，晉商在與外商的商貿活動中，已無平等競爭可言。而且清政府為避免因商釁而引起的爭端，又往往對晉商采取壓製。晉商在這內外雙重壓迫下，隻好忍氣吞聲，這從它與俄商在茶葉貿易上的前後變化上可以清楚地看到。比如晉商壟斷的恰克圖貿易，就由於沙皇俄國的侵略受到嚴重的消極影響，使山西商人蒙受損失，致使恰克圖貿易一落千丈。沙俄脅迫清政府先後簽訂了不平等的《天津條約》《北京條約》，使沙皇俄國獲得了自由貿易特權和免稅特權，俄商得以深入到庫倫、張家口一線城市開辦洋行，進行貿易往來，到1890年俄商對蒙古地區的貿易額已達300萬盧布，比簽訂《北京條約》前夕的21萬盧布增加近15倍。同治元年（1862），沙俄脅迫清政府簽訂的《中俄陸路通商章程》，把我國蒙古、新疆的萬裏邊疆變為俄商獨占的無稅貿易區，而山西商人等華商恰恰相反，要逢關納稅，遇卡抽厘，自然難以與俄商抗爭。1869年，沙俄又脅迫清政府簽訂了《改訂陸路通商章程》，俄商又得以深入內地。茶葉是陸路貿易的主要商品，俄商在漢口設有6家磚茶製造廠，並在九江、福州設有分廠，每年運往俄國和蒙古地區的茶葉近900萬鎊。晉商從貨源到銷售路線均處於劣勢，當晉商以其人之道還治其人之身，深入俄國進行茶葉貿易時，麵對著沙俄商人欠債不還，希望清政清代晉商參與的俄國市場府出麵幹預時，被清政府無情地拒絕，晉商在沙俄的貿易中損失慘重。由於外國銀行的設立，山西票號的業務多被其所搶奪。
近代英國在華設立的彙豐銀行外國銀行在華發行的紙幣1外國銀行發行的紙幣2自鴉片戰爭以來，中國處於內憂外患之中，戰亂不斷。在這一係列戰亂中，山西商人接連遭受損失，1850年，漢口後塘角大火，山西商人受損最為嚴重。有詩為證：
貲財千萬作灰揚，富客豪商氣不狂。
九九歸元誰受累，大東道主是西商。
晉商受到最早的創傷是在太平天國革命時期，太平天國起義迅速席卷了大半個中國，清軍與太平軍在漢口近代俄國在華設立的銀行等地反複爭奪，聚集在這裏的山西商號也就多次遭受浩劫，損失不可計數。江南地區晉商遭受的巨大損失是因戰爭雙方的劫掠造成的。在太平天國革命中，山西商人在南方的商號大多被搶掠一空，許多家族收縮了在南省各地的經營規模，步入衰敗。以後甲午戰爭、庚子之亂、日俄之戰，晉商損失慘重。有的商號損失多達數千萬，元氣大傷。在庚子之亂和辛亥革命後，晉商的財富化為烏有，各家大戶紛紛衰落。
兩次鴉片戰爭、中日甲午戰爭、庚子年八國聯軍侵華戰爭以及1905年日俄戰爭都給晉商帶來一次又一次的災難。第二次鴉片戰爭中，晉商在京津兩地的店鋪悉遭破壞。庚子之變，京城200多家當鋪又盡遭搶劫，這其中山西商人的當鋪占了90%以上。甲午、日俄戰爭則使晉商在東北和華北的字號遭受了巨大損失，總額在數千萬兩上下。介休北辛武村冀氏在道光時號稱家資300萬兩，京、津東北遍布冀氏的商號，僅湖北襄樊一帶就有冀氏店鋪70餘家。如此闊綽的大戶，在經曆一係列的動蕩後很快變成了一個債台高築的破落戶，後來靠一知恩圖報的小夥計幫忙，求到山西巡撫清代戰亂圖岑春煊的門下，才保留了冀氏在介休北辛武村的老宅，使冀氏子孫有一個安身之所，至於曾經興旺發達的商鋪和富甲天下的資財卻一無所有了。冀氏的經曆其實就是山西商號的一個縮影，祁縣、太穀、平遙、靈石等地的山西商人幾乎無一例外地都經曆過這一令人叫苦不迭的時期。