進入寧鄉中學學習之後，劉少奇一方麵勤奮刻苦學習，充實自己的文化知識，另一方麵也在思考如何選擇自己的職業，為國家效力。他開始留心一些信息，希望為自己尋找出路。當時有北京的一所獸醫學校來湖南招生，他參加了應考，不久接到了錄取通知，但他沒有去。經過再三思考，他不願意將來做一名隻能治療騾馬的獸醫。
當時的劉少奇已經傾向於參軍習武。在玉潭學校讀書時，他曾多次聽老師講過東漢的馬援“馬革裹屍”和班超“投筆從戎”的故事。他十分欽佩馬援和班超這兩位東漢名將，深深為他們的拳拳報國心所折服。此外，劉少奇還在史書上多次讀到馬援和班超的傳記。每讀一次，都深受鼓舞。麵對著國家積弱不振、飽受外國欺淩的現狀，劉少奇漸漸萌生了從軍報國的念頭。加上他當時相信“鐵血主義”的思想，認為鐵血政策可以解決中國的問題，更加堅定了從軍報國的思想。
劉少奇從軍的思想得到了他的六哥劉雲庭的支持。他離家來長沙求學之後，與劉雲庭接觸和聯係的機會增多了。劉雲庭所在的部隊參加了湖南趕走湯薌銘的護國之役之後，在長沙駐紮，劉少奇得以有機會去見識軍營生活。劉雲庭鼓勵劉少奇認真讀書，但是也沒有反對他想要從軍的想法，認為他有文化在部隊中肯定也能幹得好。1916年冬天，湖南省新設一所陸軍講武堂招收新學員，但必須是湘軍的下級軍官或者有條件的退伍軍官才能報考。劉少奇找劉雲庭尋求幫助，最後用了劉雲庭一位剛退伍的戰友劉豐生的身份去報了名。劉少奇順利通過了考試，並接到了錄取通知書。由於陸軍講武堂創建的準備工作沒有就緒，開學日期待定，劉少奇就一邊繼續在寧鄉中學學習，一邊等待講武堂開學的消息。
1917年春，劉少奇準備去陸軍講武堂入學時，愛國將領黃興和蔡鍔不幸逝世，舉國哀悼。這給劉少奇帶來很大的震動和感染，更加堅定了他從軍報國的決心。劉少奇在得知黃興和蔡鍔在短短八天內相繼去世的消息後，痛哭起來。黃興和蔡鍔都是湖南人，劉少奇一直對他們非常敬佩和仰慕。當時在全國各界群眾的要求下，北京政府決定將黃興和蔡鍔的靈柩運回長沙，以國禮治喪。湖南省督軍署也決定將黃興和蔡鍔兩人安葬在長沙嶽麓山，並在那裏建立了他們的紀念碑。
黃興和蔡鍔的靈柩運到長沙後，安放在小吳門曾公祠中。在吊唁期間，劉少奇時常約著賀執圭等同學一起到靈堂記誦挽聯，緬懷兩位英雄。每次來到靈堂，劉少奇都會認真研讀挽詞，他還和同學展開比賽，看誰背誦記憶的挽詞多。劉少奇一次能背誦出300多首。
蔡鍔和黃興的葬禮分別於4月12日和15日舉行，在出殯之日，整個長沙城內一片哀痛氣氛。街道兩邊擠滿了肅立的群眾，送葬隊伍和各色花圈挽聯布滿了沿途街道。劉少奇和寧鄉中學的同學們一起在送葬隊伍中緩緩前行，寄托著自己的哀思，一路走到嶽麓山。