胡雨人，名爾霖。清同治六年(1867)生於無錫縣北鄉堰橋村前的一 個知識份子家庭中。父胡和梅，曾任湖南桃源縣教諭。胡雨人與兄壹修， 自小受父親教誨，熟讀儒家經典。光緒十五年(1888)中秀才。他年少時就懷有壯誌，反對當時流行於農村中的種種迷信活動，常常揭穿巫婆和算命先生的騙人伎倆，令其當眾承認騙錢。他提倡嚴禁煙賭，與兄壹修常在無錫北鄉各街鎮的茶館裏演講，宣傳煙賭的危害。他還反對清政府苛捐雜稅，橫征暴斂。有一次他曾支持農民衝擊了黃埠墩關卡。由於他在兄弟中排行第二，又為人正直，嫉惡如仇，好打不平，敢作敢為，人稱他“戇頭二先生”。
光緒二十四年(1898)，胡雨人在維新思想影響下，考入南洋公學師範院，繼又東渡日本進東京高等師範學校學習。這時，他積極參與留學生的革命活動，加入了孫中山的同盟會。
光緒二十八年(1902)，胡雨人回國興辦新學，從事教育事業。在他父親支持下，與兄壹修共同創辦“胡氏公立蒙學堂”(後改為胡氏公學)。為了衝破封建束縛，並附設女學。同時又在尤家坦設立師範傳習所， 以培養師資。在胡氏父子的倡導下，北鄉天上市紛紛辦起了新學堂。他首創單級獨教的複式教學方法，提倡每一個村都辦一所單級學堂。學校設備及辦公費由胡氏義塾及地方支援。學校繳納的學費則用作教師薪金。辛亥革命前夕，錫北天上市，村村都有了新式學堂，為當時全縣17市鄉樹立了榜樣。他又捐出家藏的圖書在村前設立天上圖書館。還動員親戚朋友贈書，圖書館藏書全盛時代擁有書10萬冊之多，成為無錫首創的現代規模的圖書館。宣統元年(1909)，胡雨人應聘赴北京擔任北京女子師範學堂教務長。
1911年辛亥革命興起，胡雨人返錫參與光複無錫的革命活動，被推舉為無錫縣議會第一任議長。副議長為侯鴻鑒。胡、侯兩人都是當時名聞遐邇的教育家。
胡雨人關心農村水利事業， 自己也從事水利的研究。1911年他受聘於江淮水利測量局。他花費兩年時間，勘察江淮地區的災情和水利，著有《江淮水利調查筆記》和《沂、泗實測藍圖》兩種。
1912年胡雨人受聘出任江陰南菁中學校長。在任一年中，對南菁中學作了精心的辟劃。 1913年，他又北上出任北京女子師範學校校長。一年後，又南下第二次擔任南菁中學校長。1918年，應榮德生的邀請，回錫創辦公益工商中學，擔任該校第一任校長。他在從事教育工作的同時，於1920年，擔任太湖水利局參議和江浙水利聯合審查員及江蘇省水利協會研究員。他經過反複實地查勘，為治理太湖流域洪、澇、旱災害，提出了疏通白茆河，使其成為太湖下遊排水幹流，同時要開拓上遊的入湖河道以達到南北兩方蓄泄並濟的治理方針。但遭到太湖水利局實權人物的反對，雖經長期論辯，他這一正確的意見始終未能得到實施。