1270年，忽必烈下詔赦免京師囚犯。西域人匿讚馬丁是先帝的大臣，為怨家所告入獄，這次也赦免了。匿讚馬丁的怨家向皇帝申斥。廉希憲得知後，立即在中書省簽置釋放匿讚馬丁的書上補簽了自己的名字。因釋放匿讚馬丁時他正在家休假，不知此事，他不想借這個理由逃避此事。果然，忽必烈責問是誰做主釋放匿讚馬丁，廉希憲說：“這是陛下詔書上說的。”忽必烈生氣地說：“詔書上說釋放囚犯，有詔書說釋放匿讚馬丁嗎？”廉希憲回答：“不釋放匿讚馬丁，我們也不知道這個詔書。”忽必烈果然大怒：“你們號稱讀書之人，碰到事情竟然這樣，應該定個什麼罪？”廉希憲不加思索地說：“我們身為宰相，有罪應該罷退。”忽必烈見一點台階也沒有，很不高興地說：“就按你說的辦吧！”於是把他和左丞相耶律鑄一同罷退了。
過了幾天，忽必烈覺得心裏很不是滋味，他問侍臣：“希憲在家做什麼？”侍臣說：“讀書。”忽必烈沉著臉說：“讀書當然是我要求的，但是讀書而不能用，多讀有什麼用處？”奸臣阿合馬見狀，趕忙趁機進讒：“廉希憲天天在家同妻子設宴尋歡。”“胡說！希憲沒有錢，用什麼設宴？”忽必烈臉色更加難看。
1274年，忽必烈起用廉希憲為北京行省平章政事。並派他去東北鎮守遼東。有一次，大公主同國婿去京師，途經遼陽，以郊外射獵，踐踏莊稼，侵擾百姓。廉希憲當麵向國婿講道理，並說要向皇帝奏明。國婿害怕，來求公主，公主設宴來求希憲，並表示願拿出一萬五千貫錢償還百姓，請求不要上奏朝廷。從這以後，諸王貴族經過遼陽，再不敢放縱害民了。
1275年，忽必烈把廉希憲從東北召回，命他坐鎮荊南行省，配合南征滅宋，廉希憲帶病冒著暑熱疾驅南下，到江陵，右丞上將阿裏海牙率部到郊外迎接，望著來人掀起的塵土下拜，使荊州人士大為驚駭。
廉希憲來到江陵，馬上下令，禁止元軍搶掠居民財產，開展貿易，興利除弊，地方秩序很快安定下來。廉希憲按忽必烈的要求施行儒家的“仁政”頒發了一些命令。接著又大興辦學，在廉希憲看來，“辦學講經是不可延緩的”，所以他選教官，置經書。在學校成立的第天，廉希憲親自到學校講課，勉勵學習生員。
由於廉希憲施行仁政，荊州西南地區宋境的苗族聚居區，很多頭人都越境來歸順。忽必烈得知後說：“先朝非用兵而不可得的地方，現在希憲能令千百裏外居民越境納士，他的仁政感化力量真大啊！”