隨著學業的進步，劉少奇已經不能夠滿足於私塾中單調的讀書生活，他開始想方設法到家中有藏書的人家中借書閱讀。劉少奇有一位本家叫劉甲三，家中幾代都是讀書人。劉甲三讀了多年古書後進入長沙嶽麓書院學習過。他家收藏的，除了經史子集的古書外還有很多關於工業技術和醫學方麵的圖書。自從劉少奇發現劉甲三家中有藏書後，時常登門拜訪。劉少奇比劉甲三小十幾歲，但是比劉甲三還要高一輩。兩人在學問上非常談得來，每當劉少奇來訪時，劉甲三都會熱情接待，打開書櫃任劉少奇挑選。劉少奇到劉甲三家中經常一坐就是半天，臨走時還會帶上一捆書回家仔細閱讀。
劉少奇還時常去同學周祖三家中借書。周祖三住在與炭子衝一山之隔的首自衝，他的父親周瑞仙在長沙教書，是一位思想進步的知識分子。周瑞仙早年勤學苦讀，獲得了官費留學日本的機會，並在日本加入了孫中山領導的同盟會。回國後致力於教育救國，在長沙創辦修業學校。學校停辦後，又輾轉在長沙、廈門等地從事教育工作。受父親影響，周祖三全家思想都比較開明。周祖三兄弟二人除了讀四書五經之外還學習西方傳來的科學知識。周祖三的姐姐和妹妹也不纏足。周家有一間專門的書房，擺滿各類圖書。有的是周瑞仙在家攻讀時留下的，有的是從日本帶回來的，有的是專門為兒女添置的。這裏除了古書之外，還有各種新編的學校教科書和進步的刊物。劉少奇在這裏見到了各式各樣的新書古籍，這些書為他打開了一個全新的世界。劉少奇從書中開始知道康有為、梁啟超、譚嗣同這些維新派的名字。康有為的“大同”思想和梁啟超宣傳的西方資產階級的思想，都使劉少奇感覺非常新鮮。對書中的一些改良思想，劉少奇雖然不能完全理解，但是也引發了他對社會現狀的思考。劉少奇對在“戊戌變法”中慘遭慈禧太後殺害的維新誌士譚嗣同非常欽佩，並暗下決心要做像譚嗣同一樣為真理獻身的人。在周家書房，劉少奇如饑似渴地閱讀，時常忘記回家吃飯，冬天看書時經常因為入迷而燒爛鞋子。周家的人也非常歡迎劉少奇來做客。劉少奇雖然沒有機會受教於周瑞仙，但是對他一直非常欽佩，也十分感激周家人對他的照顧和關心。
劉少奇在自己家中也擁有一間“書房”，他從別人家借來好書後時常在自己的書房中閱讀。這間書房設在雜屋後麵的一個小偏棚裏，遠離家裏人多的場所，十分安靜。這間小書房雖然十分低矮，長不到一丈，寬僅半丈，但是裏麵設施比較齊全，有書桌、木椅、書箱，文房四寶一應俱全。劉少奇時常躲到這個小書房中專心地閱讀。有時看書入了迷，在母親和姐姐嫂子等的催促下才知道吃飯。劉少奇在這段時間閱讀了大量的圖書，除了涉及到維新變法、宣傳西方資產階級民主革命和西方社會政治經濟情況的圖書外，還有涉及到自然科學方麵的圖書，還包括中國的古典名著，對《論語》、《孟子》、《詩經》、《禮記》等經典名著也進行了進一步的研讀。
知識的增加，視野的開闊使劉少奇開始有自己的見地和想法。一次，他和夥伴們經過一個小廟，被山門兩側的一副對聯吸引，上麵寫著“惠止南國，戴如北辰”。他與夥伴們就這副對聯的意思展開了探討，但是都沒有得出結論。回家後，劉少奇經過仔細翻書思考，慢慢琢磨，終於明白了其中的含義。第二天，在與夥伴們一起討論時，劉少奇談了自己的看法。他說，這副對聯反映了種田人希望為官者能夠勤政愛民、仁慈廉明的意願。如果當官的都能施行這樣的德政，那麼必定能夠受到百姓的擁戴，如同在夜空中群星望北鬥一樣。這樣，一個地方乃至一個國家就一定會興旺起來。老百姓不能向朝廷提意見，於是就將希望寄托在廟裏的菩薩身上。劉少奇還引述了《論語·為政第二》中孔子所說的“為政以德，譬如北辰，居其所而眾星共之”的一段話，並背誦了《詩經·國風》中讚揚周文王的詩句：“蔽芾甘棠，勿翦勿敗，召伯所憩。”劉少奇認為這副對聯就是出自這兩個典故。劉少奇的旁征博引和引經據典在小夥伴們和四鄰中廣為傳開。由於他的沉靜好學、知書達禮，而且經常手不釋卷，人們送了他一個“劉九書櫃”的美名。
這個時期的劉少奇，人生經曆了很多變故，父親的去世和幾次轉學的經曆，也使他感受到了生活的艱辛。通過閱讀，使他的學識有了很大的增長。這段時期他的所見所聞，一點一滴都影響了他的心靈，為這位小小鄉村少年日後走上革命救國之路，打下了最初的基礎。