其幕僚生涯的第二波，1917年後，他和蔣介石都到廣州，為中華民國軍政府參軍。隨後被派往四川，他的老家，聯係護法力量。在重慶，他和楊森、夏之時等成立川事維持會。
廣州軍政府方麵，南方軍閥排斥中山先生，先生往上海。廣州軍政府則以岑春煊為總裁。岑春煊為政學係宿將，李烈鈞邀張群參與軍政府事，遂與岑春煊結識。此際，軍政府為政學係把持，政學係骨幹章士釗為軍政府秘書長，楊永泰為廣東省省長。
這是張群與政學係的淵源，後來張群被視為新政學係的領袖，即源出於此。
1924年，馮玉祥在黃郛的策動幫助下，發動北京政變，黃郛出麵組攝政內閣，為總理。張群則出任河南省警務處長。吳佩孚1926年反撲，張群返回上海。
蔣介石在1922年，當陳炯明叛變時，應中山先生之命，從浙江老家趕回廣州，任東路討賊軍參謀長，隨後又任大本營參謀長。1925年，東征奏捷。1926年，他任國民黨中央常務委員會主席、軍事委員會主席、國民革命軍總司令，決定率師北伐。北方軍閥加起來有七八十萬人，北伐軍隻有幾萬人，差不多為十分之一比例。所以，必須戰鬥與瓦解其內部同時運用。張群擔任分化孫傳芳的工作。
張群受蔣之邀，從上海返回，從此被蔣先生倚為股肱智囊。
叔孫通式的人物
劉文島可算一個善於拍馬，官運亨通的幕僚，也是典型的叔孫通式的人物，曾為唐生智的政治部主任，後來更任唐生智駐廣東代表；他和唐生智係保定軍校同期同學，後來留學法國，派頭洋氣。北伐前期，他已活躍於湘鄂之間。
唐生智派他到廣東，對李濟深和李宗仁竭盡奉承之能事。對他的隨員，則常常因小事予以嗬斥。“一次紀念周演說，要求唐生智的部下孝順唐總指揮，像兒子孝順父親一樣。台下文武官員兩千餘人哄堂大笑，唐生智本人在台上全副戎裝，怡然自得。會議後何鍵、李品仙等說，你要做兒子盡管去做，我們可沒有資格領受這個榮銜。”（《李宗仁回憶錄》，第二十章）
在唐生智第八軍期間，他常介紹他自己說是保定軍校出身，又留學法國，實在文武兼資，做黨代表一職似最為合適。
武漢南京對立時期，他反蔣比誰都激烈，其言辭諸如斥責“滿街都是革命黨，滿屋都是貪官汙吏”，他提倡“整頓紀綱，中興道德”，聳動視聽。寧漢對立解除，蔣介石占了先機，他馬上又輸誠於蔣，當上立法委員，隨後就被派為駐外大使。
劉氏所著《黨政生活論》頗得梁啟超讚賞。1918年12月，他隨梁啟超所率的歐洲考察團赴巴黎，並得其資助入巴黎大學政治係深造，獲博士學位。1925年回國，受聘於武昌私立中華大學，不久應陳銘樞之邀赴粵，結識蔣介石，並加入國民黨。是年冬赴湘，策動唐生智參加國民革命。1926年7月任唐第八軍黨代表兼政治部主任，授中將軍銜，隨即參加北伐。
1937年11月回國後，曆任國防最高委員會委員、全國慰勞總會第三慰勞團團長等職。抗日戰爭勝利後，任華中宣慰使，1948年5月當選立法委員。新中國建立前去台灣，曾創辦《健康長壽月刊》。著有《政黨政治論》《行業組合論》《行業組合與近代思想》《意大利史地》，與其妻廖某合譯有《新軍論》《民約論》等。
作家胡秋原年輕時曾得到他的關照。他1931年為駐德公使，1933年調駐意大利全權公使。胡秋原幾個年輕人到了羅馬，來到中國公使館，見到了劉文島公使。將陳銘樞的介紹信取出，遞給劉文島。“這樣吧，今天晚上就請各位到使館來，替各位洗塵，大家痛痛快快地喝一杯，如何？好哇。羅學濂頭一個笑著回答，我們就叨擾公使一頓，晚上大家歡聚一下。來不及發請柬了，那就一言為定，晚上7點，請各位駕臨使館，劉公使很親切地說。”（張漱菡《胡秋原傳》湖北人民出版社）