晏殊一生，沒有太大的波折，其間雖然也有過幾次貶謫，但都不是那種傷筋動骨的大挫折，像唐代的李德裕、後來的蘇軾那樣一下子被貶到天涯海角的情況，晏殊從來沒有經曆過。
《能改齋漫錄》記載著這樣一段軼事，說晏殊曆任朝中要員，就算到地方上去做官，也是靠近都城的大郡，沒有遠離過京師。有一次，晏殊被外派到陳留（離京師僅四十裏）去當官，送行的酒席上，官妓輕唱的詞中有“千裏傷行客”一句，晏殊聽後勃然大怒，忿然喝叱道：“我平生做官，沒有遠離過京師五百裏以外的地方，什麼‘千裏傷行客’，說誰是‘千裏傷行客’啊？”
所以，晏殊的詩詞之中，少有浮沉難定、世路艱難的滄桑，罕見關河冷落、鄉關何處的淒涼。據說他無日不宴，可謂“座上客常滿，樽中酒不空”，每次酒過三巡，菜過五味，晏殊家的美貌歌妓就出來唱詞獻藝了。而等歌妓們唱罷，晏殊就說，你們獻完技藝，該我表現一下了，說罷就讓人取來紙筆填詞。所以晏殊的詞大半為酒宴間的遣興之作。
很多的人是因晏殊的《珠玉詞》而熟悉他，所以印象中，晏殊是位溫和閑雅的文士，徘徊踟躇於小園香徑之中，看“無可奈何花落去”而傷懷，望“似曾相識燕歸來”而慨歎。《碧雞漫誌》中稱晏殊的詞：“風流韞藉，一時莫及，而溫潤秀潔，亦無其比”。《珠玉詞》的風格確實如此，但晏殊的性格卻有所不同。
《四庫全書》中這樣評點晏殊的集子：“晏同叔賦性剛峻,而詞語特婉麗”。確實，晏殊的脾氣其實並不好。一個歌妓隨口唱的“千裏傷行客”一詞，就讓他大發雷霆。而且晏殊被罷去宰相的職位，有一次就是因為亂發脾氣惹得禍。
《宋史·晏殊傳》中記載，有一次隨皇駕去玉清昭應宮時，晏殊突然發現自己的笏板居然沒有帶，如此重要的典儀上，沒有笏板怎麼行？晏殊急得頭上直冒汗，當那個丟三拉四的仆人氣喘籲籲地送來笏板時，晏殊掄起笏板就是一個嘴巴，打得那個仆人牙都掉了幾顆。就因為這事，馬上有大臣彈劾晏殊，罷了他的宰相之職。
有人通過此事，感慨道：宋代很重視平等很講人權啊，晏殊雖是宰相，但打了身份低賤的仆人，竟然也獲罪削職。其實並非如此，大臣是這樣告狀的：“殊身任輔弼，百僚所法，而忿躁亡大臣體……先朝陳恕於中書榜人，即時罷黜。請正典刑，以允公議。”
意思是說，晏殊乃朝廷重臣，百官的榜樣，這樣暴躁是有失體統的事情，前朝（宋太宗時）有個叫陳恕的大臣，在辦公場所用棍子打下人，當場革職，所以對晏殊也要治罪，以免大家議論，心中不平。
看來，宋代並不是尊重人權，而是維護朝廷的禮儀，晏殊要是在自己家裏，就算把仆人打得滿地找牙也沒有什麼事，或者不是晏殊自己動手，讓別人打，也沒事。晏殊就因為這件事，被罷去了宰相，去了應天府（現在的河南商丘）“掛職”。
所以，晏殊的脾氣是不怎麼好的，所謂“詞不可概人”（《蕙風詞話》），也就是說不能用詞的格調推測人的品性，這是很有道理的。
不過，晏殊這次貶謫為時不長，不久又回到京師，重新擔任宰相。晚年的晏殊，雖不再擔任宰相，但皇帝特意照顧，仍賜其宰相待遇，隨從、儀仗的排場上也一如既往。
晏殊最後病死於京城。晏殊病重期間，皇帝欲親自前去看望，但晏殊多年為相，熟知內情，知道皇帝看望病危大臣時，往往隨駕攜帶紙錢等祭品。因為多數情況下，不是病情特別嚴重，哪裏能隨便驚動皇帝？皇帝來探望時，病重大臣往往就咽氣了。皇帝日理萬機，哪有閑工夫再重新準備祭品來吊一次喪？所以就形成了這個慣例。晏殊覺得這事很晦氣，所以就謝絕了皇帝的探望。然而，六十五歲的晏殊還是沒有再從床上下來，就此溘然長逝。
晏殊多年身居要位，門生遍布朝堂，盡是北宋的股肱之臣，其中有著名的“一韓一範”――範仲淹是百代名臣，韓琦是三朝宰相。此外，還有歐陽修、宋祁、富弼、王安石等，都出自其門下。富弼還是晏殊的女婿，和王安石都官拜宰相。所以，晏殊的小兒子晏幾道才有資格驕傲地說：“今政事堂中半吾家舊客”。
晏殊生前富貴、死後哀榮。宋仁宗親自祭奠，諡其號為“元獻”。