父親去世後，晏小山家道開始中落。雖家財散盡，不願踐貴人之門，而舊日奔走晏府的人們也因其孤傲耿介而不理他。此後他屢屢遭遇坎坷，不但終生仕宦不得意，而且還受到種種意外的磨難。宋神宗熙寧七年（1074年）鄭俠上《流民圖》反對王安石新法，被逮捕治罪。晏小山因曾贈詩與鄭俠，也被牽連下獄。朝廷官員在鄭俠家裏搜尋到一首晏幾道的詩：“小白長紅又滿枝，築球場外獨支頤。春風自是人間客，主張繁華能幾時？”不料宋神宗看了後讚歎詩寫得好，認為人才難得，就將晏小山釋放了。但出獄以後，拙於謀生的晏小山生活境遇每況愈下。中年以後，晏小山與那歌兒舞女們一樣，同為天涯淪落人。晚年以後，晏小山甚至淪落到家境貧寒、衣食不能自給的程度。生長於富貴之家錦繡叢裏，卻落到窮愁潦倒的地步，其間的反差可謂是一落千丈。
三尺微命，風塵流離，江湖夜雨十年燈，少年子弟已白頭。五十來歲時，他才做了一任低層小官吏——監潁昌府許田鎮和開封府推官，不久即離職。歲月蹉跎到滿頭飛雪時，晏小山才步履蹣跚地回到父親留下的汴梁故居，棲身於舊宅中。正是“雨中黃葉村，燈下白頭人”，他閉門不出，一燈如豆，披閱斟酌，修改整理《小山詞》。當此白發如雪的垂暮之年，回首這一路走過來所遇到的那些悲歡離合，那些夢影星塵，似有所悟：“追惟往昔過從飲酒之人，或壟木已長，或病不偶。考其篇中所記悲歡合離之事，如幻、如電，如昨夢前塵，但能掩卷憮然，感光陰之易遷，歎境緣之無實也。”
當年曹雪芹寫《紅樓夢》，乃是有感於“半世親見親聞的幾個女子”之事跡原委，情動於衷，發之於文。而晏小山的詞作也多是懷念“半世親見親聞的幾個女子”，抒發一己之微痛纖悲。知友的零落，紅顏的凋零，歲月的消磨，夢想的破滅，追求的無望，使他一生癡情於詞的創作，“敘其所懷，期以自娛”。
晏小山著有《小山詞》。《全宋詞》存錄有二百六十餘首。小山詞風上承李煜，下啟納蘭容若，基本上是以寫往事、寫相思、寫哀愁、寫清歡為主。小山詞中有著濃厚的懷舊之情和感傷之緒，那種華麗的傷感，淒豔的溫情是如此動人心魂。馮煦說他是“古之傷心人也”。“其淡語皆有味，淺語皆有致，求之兩宋，實罕其匹”。語淺情深，確是他的主要特點。黃庭堅評他的詞是“清壯頓挫，能動搖人心”。
陳振孫則讚曰：“其（叔原）詞在諸明勝中，獨可追逼花間，高處或過之。氣磊落，未可貶也。”王灼在《碧雞漫誌》中說，晏小山的稟賦乃是上天賦予的，“如金陵王謝子弟，秀氣勝韻，得之天然，將不可學”。毛晉在《跋小山詞》中稱小晏詞“字字娉娉，如攬嬙、施之袂，恨不能起蓮、鴻、、雲，按紅牙板，唱和一過”。可謂傾倒之至。
晏小山的詞在當世即廣受歡迎，歌兒舞女不消說了，皇帝也喜歡，士大夫們也稱道。且不說當時像蘇東坡這樣的文壇新貴慕其名想見識他，當朝權要蔡京想方設法要獲得他的長短句，相傳道學家程頤讀到小晏“夢魂慣得無拘檢，又踏楊花過謝橋”句時，忍不住也要咕噥一句：“此鬼語也！”言下之意，這樣的句子，隻有“鬼”才寫得出。
近代人夏敬觀說：“晏氏父子嗣響南唐二主，才力相敵，蓋不特詞勝，尤有過人之情。叔原以貴人暮子，落拓一生，華屋山邱，身親經曆，哀絲豪竹，寓其微痛纖悲，宜其造詣又過於父。”這“微痛纖悲”四字分外貼切。
有人說小山詞是“借花間之身，還南唐之魂”。小山詞與花間詞隻是形似而已，花間詞淺，小山詞深；花間詞矯，小山詞真；花間詞裝飾，小山詞清麗，花間詞如披金戴玉之貴婦，小山詞如天生麗質之少女。確實如此，小山詞形似花間，神韻則與李煜為代表的南唐詞相通。小山詞是從其坎坷人生中感發而出，多懷往事，情動於衷，筆調飽含感傷，傷情深沉真摯，情景融合，秀氣勝韻，吐屬天成，故“能動搖人心”。
讀罷《小山詞》，我的感受是，愛情其實是晏小山一生的宗教，女人的溫情是沐浴他身心的極樂法雨；而孤苦中的相思則是他終身不輟的修行。
晏小山就是那通往愛情的朝聖之路上不停轉動經筒、深揖長拜的苦行僧。