劉半農後來回憶說，在“五四”時期提倡白話文已被頑固派視為“非聖無法，罪大惡極”；提倡白話詩則更為他們所不容。比如黃侃先生在《〈文心雕龍〉劄記》中就大罵白話詩文為“驢鳴狗吠”；胡適詩中有一句“兩個黃蝴蝶”，黃侃從此直呼胡適為“黃蝴蝶”而廢其姓名。劉半農跟胡適一樣，堪稱中國新詩的先驅。1918年1月，中國的新詩首次出現在《新青年》4卷1號，所載九首詩中，就有劉半農的兩首：《題女兒小蕙周歲日造像》《相隔一層紙》。1926年，劉半農出版了他的新詩集《揚鞭集》，上卷收1917 至1920年的詩作，中卷收1921 至1925年的詩作。“揚鞭”二字，取自他的組詩《遊香山紀事詩》首句：“揚鞭出北門，心在香山麓。”從內容上看，《揚鞭集》中的作品廣泛揭示了下層民眾（農民、店員、手工業者、學徒、乞丐、傭工）的疾苦，開新詩現實主義創作的先河。《揚鞭集》中的一些情歌亦健康清新，如《教我如何不想她》，經趙元任譜曲後，更膾炙人口，流傳至今。從技巧上看，劉半農的新詩能嫻熟駕馭口語，在體裁上尤擅花樣翻新。
在新詩的音節上，他也作了有益的探索。周作人在《〈揚鞭集〉序》中說：“那時做新詩的人實在不少，但據我看來，容我不客氣地說，隻有兩人具有詩人的天分，一個是尹默，一個就是半農。”劉半農為“五四”詩苑培植的另一株異香撲鼻的山花，就是全部運用江陰方言和“四句頭山歌”的聲調寫成的民歌集——《瓦釜集》。他在該書《代自敘》中說：“集名叫做‘瓦釜’，是因為我覺得中國的‘黃鍾’實在太多了。……因此我現在做這傻事：要試驗一下，能不能盡我的力，把數千年來受盡侮辱與蔑視，打在地獄底裏而沒有呻吟的機會的瓦釜的聲音，表現出一部分來。”這部詩集共收“勞工歌”“情歌”“農歌”“漁歌”“船歌”“牧歌”“悲歌”“滑稽歌”二十餘首，表現了勞動人民被剝削受壓迫的苦楚，揭露了封建製度和習俗釀成的人生悲劇，用“最自然的言詞，最自然的聲調”抒發了勞動人民“最自然的情感”。這些經劉半農整理的山歌音節自然流暢，音調悠揚婉轉，詩篇抒唱形式多種多樣。中國現代文學史家蘇雪林說：“中國三千年文學史上擬民歌兒歌而能如此成功的，除了半農先生，我想還找不出第二人了吧？”沈從文先生認為，《瓦釜集》中的民歌，是劉半農詩作中最美的篇什，也是他為開拓中國新詩道路所做的“最好的試驗”。
錢玄同挽聯中所說的“痛詆乩壇”，是指劉半農撰寫《辟〈靈學叢誌〉》一文，揭露俞複、陸費逵等人設立盛德壇扶乩，組織靈學會，用講鬼話的手段與科學為敵。“嚴斥‘臉譜’”，是指劉半農在《我之文學改良觀》中主張改良戲曲。錢玄同認為，中國舊戲“專重唱工，所唱之文句，聽者本不求甚解，而戲子打臉之離奇，舞台設備之幼稚，無一足以動人情感”。劉半農讚成錢玄同的意見，主張一掃舊戲中的這種種“惡腔死套”。劉半農的上述文章，在現代雜文草創期亦屬上品。