然而，忽必烈與這位趙宋王孫的蜜月期很快就結束了。有一天，忽必烈約趙孟頫到南書房談話，突然問他兩位南宋降臣留夢炎與葉李誰的人品更好。留夢炎與葉李都已經在蒙元朝廷擔任了副宰相的高官。趙公子事先根本沒想到會遇到這樣的問題，但是，他又不能不回答。也是趙公子頭腦一熱，覺得留夢炎是自己的長輩，而葉李跟自己差不多卻混得比自己好，自然也有些眼紅和不服，於是他說：“葉李讀的書都是我讀過的，葉李所能辦的事，我也都可以。”言下之意，留夢炎比葉李強。但是忽必烈聽了卻很不高興，嚴厲地訓斥他道：“留夢炎是宋朝的狀元，當過宋朝的宰相，卻不能盡忠於宋朝；而葉李當時隻是平民布衣，卻能上書朝廷，要求宋朝皇帝處死奸臣賈似道，這樣看來，當然是葉李比留夢炎的人品要好得多。你怎麼可以顛倒黑白呢？”——趙孟頫當即嚇得臉都白了。在明明已經有自己固定結論的情況下，忽必烈這一番居心叵測的拷問，顯示了他在政治上對趙孟頫還是懷有戒心的。幾個月後，皇帝又向他請教對宋太祖趙匡胤的看法，一朝被蛇咬的趙孟頫哪裏還敢亂說，連連磕頭說“臣不能知”，我不知道，我也沒法說！
趙孟頫的頂頭上司桑哥是一個粗暴的蒙古官員，作為忽必烈晚期最權勢熏天的人物，此人最大的能耐就是排斥漢族的臣僚甚至仗著性子扇他們的嘴巴子。有一天早晨，趙孟頫因為上班偶爾遲到了幾分鍾，就被桑哥強迫跪在堂下，接受扇耳光的懲罰。還是因為與桑哥關係不錯的葉李代為求情，好不容易才得以幸免。這樣的奇恥大辱，讓一位曾經的王孫公子情何以堪？趙孟頫真的是嚐到了伴君如伴虎的滋味，於是，他多次遞交報告，請求下派到基層去鍛煉。他的申請終於獲得朝廷的批準，外派山東濟南。這一年，他的歲數正好距離“四十不惑”剩下不到幾個月的時間。
放棄政治雄心，以交遊與書畫創作構築生活主要內容的後趙孟頫時代終於開始了。這當然是元代甚至是整個中國古代藝術的幸事。我們無法斷定趙公子當初作出這一重大決定時，精神上所經曆的痛苦與複雜的過程。畢竟頭上這頂烏紗來之不易，何況他還為此付出了犧牲個人名譽及受到後世唾罵的代價。事實上，自從趙孟頫進京做官後，他的族人以及鄭思肖等南宋遺民就自覺地與他劃清了界線，甚至連正眼都不願意看他一眼。
所幸的是，趙孟頫還有一個相伴終生的紅顏知己，那就是他的夫人、曆史上著名的女書法家管道升。兩人的誌趣相投，婚姻也是相濡以沫，白頭偕老的。但據說，趙公子在年輕時也動過風流的念頭，幾乎犯下了男人都容易犯的錯誤，管夫人為此寫了一首《我儂詞》：
你儂我儂，忒煞情多。情多處熱如火。把一塊泥，撚一個你，塑一個我，將咱兩個，一齊打破，用水調和，再撚一個你，再塑一個我。我泥中有你，你泥中有我，與你生同一個衾，死同一個槨。
詞寫得很直白，通俗易懂，也就是今天我們經常在表述男女愛情時說的“你中有我，我中有你”的意思。
然而這首詞卻成了趙孟頫一生的讖語，他的人生注定要在你中有我我中有你的分裂人格中痛苦地經曆。
趙孟頫是崇尚魏晉風度的，但寄人籬下、有口難言的痛苦卻讓他無論如何也表現不出真正的魏晉風度，他缺乏那種傲世的狂嘯和人生的大豁達。在整個元朝，趙孟頫的書法可以說是無人能出其右。他的書法雖然遠追王羲之、王獻之父子以及顏真卿、柳公權等人，但在用筆上更加簡潔，他實際上是做了簡化和通俗前人筆法的工作，使高雅的書法更加大眾化了。這其中也有他深層的考慮：元朝統治者來自北方的荒漠和草原，他們無疑是世界上最優秀的騎士和殺手，但在文化修養上卻實在是不敢恭維。所以，趙孟頫考慮到這層因素，隻能替他們做減法進行簡化處理了，這種複雜的生命狀態不能不滲透進他的筆下，使他的書法也帶上了某些亡國之氣。