1921年，尼赫魯第一次被捕。這一年，他的女兒英迪拉4歲。他在給國大黨的聲明中說：“為印度的自由而戰無上光榮，在甘地領導下工作很幸運，對一個印度人來說沒有比為事業而犧牲或完全實現壯麗的夢想更好的了。”在獄中，除偶爾與獄卒交談外，尼赫魯就是讀書寫作。《尼赫魯自傳》就是在獄中完成的。
為了獨立運動，尼赫魯逐漸放棄了在英國養成的西式作風。自追隨甘地之日起，尼赫魯就不再穿西服，而改穿印度土布衣服。從前尼赫魯以說標準的英語為榮，現在他逐漸使用印地語或者印度各地的方言。
當時，“到農村去”的口號響徹全國，為動員農村大眾參與獨立運動，尼赫魯與國大黨同誌一道，不辭辛勞徒步到偏遠的鄉村，出席農民會議，發表演講。在這些場合，他領略到了群眾力量的偉大，開始認識群眾心理，懂得區分城裏人和鄉下人的不同要求。雖然他對群眾中出現的某些自私覺得不大愉快，但他和印度農民已經打成一片。
在獨立鬥爭中，尼赫魯政治上逐漸成熟。1923年底，尼赫魯擔任了國大黨秘書長，初步獲得了行政領導工作經驗。他常常每天工作15個小時。尼赫魯擔任國大黨秘書長沒有薪水，為了獨立事業，他和父親甚至變賣家產作為國大黨活動經費，他還盡量減少開支，經常吃簡單的飯食，坐火車的三等車廂。
為破壞印度獨立運動，英印當局也想拉攏尼赫魯。當局派出安拉阿巴德高等法院法官米爾斯爵士去遊說，想憑借他的三寸不爛之舌和種種外交手段來誘惑尼赫魯。因為當時有一種說法，稱尼赫魯父子之所以反英，是因為他們加入英國人俱樂部的申請被拒絕。米爾斯對尼赫魯講：像他這樣一表人才的有學之士理應出任教育部長，然後運用他的智慧和人格來影響後一代，並且保證他會得到印度總督的器重。但尼赫魯早就立下誌願，要為印度獨立做些“消極的破壞工作”，以便後代從事積極的建設工作。
尼赫魯雖追隨甘地，但並不迷信甘地。當甘地以農民運動超出了“非暴力”的限製為由，宣布中止第一次非暴力不合作運動後，印度民族解放運動陷入低潮。此時，尼赫魯逐漸意識到“非暴力”運動的缺陷：人們很難在警察的暴行麵前做到斯斯文文。為了找到一條獨立的出路，1926年尼赫魯決定重返歐洲，而此時，他個人和家族都陷入財政困境，他靠自己當律師的收入和父親的資助勉強湊足了經費。在為期1年零9個月的時間裏，他先後訪問了意大利、法國、英國、德國和蘇聯，結交了法國作家羅曼.羅蘭和美國人民自由聯盟領導人鮑德溫等知名人士。
在探索印度民族解放道路的過程中，尼赫魯也接觸了中國人。1927年，在布魯塞爾舉行的“被壓迫民族大會”上，他接觸了中國國民黨代表廖煥星。會上，宋慶齡、高爾基、愛因斯坦等發起組織了“反帝大同盟”，支持被壓迫民族的獨立運動，由宋慶齡任主席，尼赫魯也擔任了執行委員。同年，尼赫魯赴莫斯科參加十月革命慶祝活動，受到了蘇聯政府的熱烈歡迎。他被十月革命後蘇聯的變化深深吸引。他在自傳中回憶，此次訪問給了他“一種遠景的認識”，幫助他“從新的角度看待曆史和現實”。