鹹豐的鬱悶，可能與他身體不好有關。而導致他身體不好的，又與他經常沉湎於酒色有著直接的關係。據說，鹹豐不但嗜酒，而且嗜色，他身邊從不缺貌美如花的妃子，除皇後和慈禧外，光有案可查的便有麗妃他他拉氏（即原麗貴人）、婉嬪、玫嬪、祺嬪、吉貴人、禧貴人、慶貴人、容貴人、玉貴人等近20位嬪妃。大概是看得久了，鹹豐對自己的那些嬪妃了無興趣，他倒是對漢人女子特別是她們的小腳特別著迷，隻可恨旗人女子個個是天足大腳丫，他這個十足的“蓮癖”也隻能望漢女之蓮而興歎。另外，由於清朝選妃僅限於旗人女子，也有野史說鹹豐常在太監的掩護下微服出宮，四處遊玩，並在圓明園的僻靜之所偷藏“圓明園四春”，後來在後妃們的幹涉下才作罷。此事雖說查無實據，卻並非空穴來風。
除酒色過度外，鹹豐的身體也的確患有宿病。據各種記載來看，鹹豐年紀不大卻經常臉色焦黃，體弱多病，似乎患有肺癆（疑為當時難以醫治的肺結核）。後來，禦醫建議他服用鹿血，既有利於肺，又可以壯陽。鹹豐聽後，便讓人在圓明園裏養了上百頭鹿，每天都讓人送鹿血來給他喝。不料1860年英法聯軍攻破北京，鹹豐來不及將圓明園中的鹿群帶上，結果到熱河後，鹹豐咯疾大作，令取鹿血時，倉促間又不可得。
在天下糜爛之時，鹹豐焦憂致疾，倦怠政務，為此也不免寄情於聲色，逃避現實。當時的鹹豐，抱著“當一天和尚撞一天鍾”的心態，隻能說是勉強應付著那些堆積如山又令人頭疼的奏章。特別在太平軍起事後，各省各地的軍書戰報如雪花般紛至遝來，身體本就不佳的鹹豐常常感到焦慮萬分，不堪重負。
但是，皇帝終究是皇帝，很多事情要是皇帝不批示的話，整個國家機構就會陷入癱瘓，無法運轉。因此，即使再苦再累，鹹豐也必須打起十二分的精神來應付。好在這時他發現慈禧（當時還是懿貴妃）略通漢文，書法也還算過得去，於是試著讓慈禧代他批答一些無甚緊要的奏折，譬如“知道了”“轉各部知道”之類，倒也可以借此息肩卸責，蒙混過關。
慈禧或許沒有想到，自己從小學會的這點文化，在後來的權力鬥爭中竟然起到了敲門磚的作用。當時在鹹豐後宮的嬪妃中，略有文化而兼有決斷能力的唯有慈禧一人。另外，慈禧在藝術上也似乎有點兒天分，她畫的花、鳥、蘭、竹雖不能和鹹豐的水準相比，但也還算像模像樣，頗投鹹豐的誌趣。特別在書法上，慈禧的字寫得不能說特別好，但也還算工整端腴。對於慈禧的這個特長，鹹豐可是要充分利用嘍。
最開始時，鹹豐隻是讓慈禧批些不重要的折子，但後來他發現慈禧人才可用，自己又貪圖安逸，於是這個偷懶的法子就進一步升級；發展到後來，就連軍機處送來有關軍國大事的折子，本應由鹹豐朱批具體指示方略的，也改由鹹豐口述旨意，讓慈禧代筆批示。長此以往，慈禧在批覽奏章時，也就逐漸通曉了國家大事。憑著慈禧的機敏與聰慧，她對於朝政的運作和臣屬的駕馭也有了初步的心得，這也為她此後的垂簾聽政打下了堅實的基礎。
平心而論，鹹豐倒不是真的覺得慈禧學識過人，隻不過自己借慈禧之力來貪圖安逸罷了。或許在鹹豐的心中，即使讓慈禧知道一些軍國大事，甚至代筆批示奏章，隻要自己把握得好，適可而止，也不會造成朝政紊亂和重大失誤。畢竟，隻要鹹豐在，權力就不會失控。在其眼中，慈禧不過是後宮中借以分擔自己政務的妃子罷了。