1840年鴉片戰爭以後，一係列的不平等條約使得清政府的勢力迅速衰落。一係列的對外戰爭，無一例外的是以割地賠款告終。為解決國庫空虛，清王朝不得不大肆進行賣官鬻爵，向全國富商巨賈兜售官職斂取錢財。而作為天下巨富的山西商人無一例外地成了最主要的“捐輸”對象。到同治年間，晉商們“前後捐輸已經五六次，數逾千萬兩”。常氏家族也通過“捐輸”獲得了很多虛銜，前後受封者就達126人。
19世紀中葉，太平天國運動爆發，通往武夷山的茶路被摧毀，徹底阻斷。失去茶源的常家受到了沉重打擊。此時，主持商務的十二世常懌隻得南下湘鄂、巴蜀尋訪新的茶源。幾經考察，選定了湘鄂交界的羊樓峒、羊樓司為新的茶葉基地。但是當地人並沒有種茶的經驗，常家隻好代為引種，聘請技師指導生產，並在當地開設工廠，曆盡艱辛，終於建立了一個新的茶葉基地，常氏家族才得以渡過難關。
然而，第二次鴉片戰爭又接踵而至，俄國以“調停有功”脅迫清政府簽訂了中俄《天津條約》和《北京條約》。清政府被迫允許俄國商人在庫倫等地自由貿易，還給予其免稅的特權。
1863年，俄商在常家新開辟的茶葉集散和加工中心羊樓峒成立了順風茶廠，侵入了常家苦心經營的大本營。俄商采用蒸汽機壓製磚茶，每日產量可達80多筐，廢品率僅為5%，而常家仍采用較為落後的手工壓製，相比之下，輸贏立顯。俄商利用免稅的特權和水陸並運的優勢，迅速擴大茶葉貿易的數量，搶占了常家剛剛興盛起來的所有市場。早在俄商大舉入侵的時候，無能的清政府就一邊壓製本國商人，一邊禁止晉商水陸並運，同時還強加給晉商很多重稅，把茶葉販運到張家口，僅晉商所交的稅金就高出俄商十幾倍。因此，晉商的茶葉貿易量急劇下滑，到1868年，在恰克圖的晉幫商號就由120家下降到了4家。
在俄國茶商的排擠下，從小百姓發家的常家和其他晉商們並沒有退縮，而是選擇勇敢地應戰。他們采取“以其人之道，還治其人之身”的戰略，先後在多木斯克、莫斯科、赤塔、新西伯利亞等城市設立商號。1869年，晉商在俄國成立商號，第一年就輸出茶葉11萬擔，與俄商貿易量基本持平。兩年後，增加到了20萬擔，超出俄國商人的一倍。山西商人靠自己的智慧與團結精神終於打了個漂亮的翻身仗。
在俄國，常家和其他晉商們大量采用賒銷的辦法與俄商進行競爭，這本身就存在極大的風險。1910年，俄國政局也逐漸動蕩起來，恰克圖就有5家俄商先後倒閉，虧欠16家華商60多萬兩貨款，其中常家就占了31萬兩之多。
在茶葉貿易日漸窘迫的時候，常家又想方設法開始涉足票號業務，並迅速成為後起之秀。光緒十一年（1885年），常家十三世常立訓將“大德玉”茶莊改組為票號，總號設在太穀城。由於資金雄厚，經營有方，“大德玉”票號一度與“蔚泰厚”、“日升昌”等持平發展並居山西十大票號之首。光緒初年，常家的商號遍及大江南北，關內關外，最遠達到俄國的莫斯科等地，形成輝煌一時的極致。
但“覆巢之下豈有完卵”，國之不存，民將焉附？20世紀初，中俄政局連續動蕩，常家成了最大的受害者，好不容易振興起來的家業漸走下坡路。1904年，日俄戰爭爆發，常家在關外的商號被俄軍搶劫一空，損失甚為慘重。1905年，西伯利亞鐵路通車後，俄國商人改走海路經海參崴轉鐵路運輸茶葉，這樣一來不僅便捷而且運費低廉，但俄國鐵路明令禁止中國商人使用，使得常家的茶葉貿易再度受創。鐵路通車兩年後，通過海參崴運到俄國的茶葉由20.53萬擔激增到了79.82萬擔，而晉商從恰克圖輸送到俄國的茶葉則由39.53萬擔驟減到了19.05萬擔。
1911年，辛亥革命爆發，內戰中常家設在全國各地的商號再次被搶掠一空，損失更為慘重。清王朝徹底覆滅，而常家票號貸給清政府的近千萬兩款項更是有去無回，其他滿清貴族的貸款也基本上無法收回。
1924年，蒙古在前蘇聯的策動下宣布徹底獨立，常家在蒙古的財產便全部被沒收充公，由此，常家苦心經營二百餘年的“萬裏茶路”從此徹底消失。