1895年春天，中日戰爭使北洋水師全軍覆沒，4月中旬，李鴻章簽訂中華民族奇恥大辱的《馬關條約》的消息傳到北京，當時參加會試的舉人們立即沸騰了，決心抗爭。康有為即刻要梁啟超串聯鼓動各省舉人上書。梁啟超四處活動。4月22日，以康、梁為首的廣東、湖南兩省舉人首先聯名上書，要求拒簽對日和約，同時還鼓動朝官出麵。5月1日，康、梁邀集18省120多名舉人在鬆筠庵集會。康有為在會上發表了慷慨激昂的演講，大家一致通過了康有為上書朝廷的建議，並公推他為奏議起草人。康有為奮筆疾書，向清政府提出了“拒和”“遷都”“變法”的三項建議。這就是震動朝野上下、名垂史冊的“公車上書”。這次運動，聲勢浩大，開創了中國曆史上知識分子集體上書，抗議政府的新格局，第一次顯示了維新派在輿論上的力量，引起社會各方麵的重視，獲得了廣泛的同情。“公車上書”的曆史意義是深遠的，它喚醒了中國數千年未醒的大夢，是一代青年人愛國、求變革、奮發向上的思想的反映。上書的各省舉人回鄉後，對各地民智的啟迪也發揮了很大的作用。
康、梁經過公車上書，都認識到要發動維新變法，必須有一個組織，即他們的“合群”。要建立組織，必須從製造輿論開始。1895年8月，正式創立宣傳維新變法的刊物《萬國公報》，附《京報》發行，每天送千餘份給各王公大臣，不收報費。這一做法是梁啟超的“欲開民智，先開官智”的維新思想的具體體現。《萬國公報》除介紹西方資本主義國家的政治、經濟、文化、史地、風情和轉錄一些消息外，主要宣傳富國強兵之道，極力鼓吹維新變法，以期獲得社會各界的同情和支持。
1896年3月，梁啟超應康有為之召到上海辦報。與黃遵憲、汪康年等利用強學會餘款作資金，創辦《時務報》。8月正式創刊，汪康年任總經理，梁啟超任主筆。在他們周圍團結了一大批維新誌士或同情維新派的名流學士作為撰稿人。《時務報》宗旨是開民智，求自強，尤其注重中外時事的介紹。《時務報》內容新穎，反映民眾呼聲，敢於抨擊時政，一時成為風靡全國的報刊。梁啟超利用這一報紙作為維新派的喉舌，較全麵地宣傳自己的變法思想和改革措施，一時間梁啟超名聲噪起。
此時的梁啟超剛二十三四歲，精力旺盛，才華橫溢，再加上他敢說敢寫，符合當時人們的心聲，在許多比較清醒的知識分子中引起了深刻的共鳴、巨大的反響。梁啟超的文章具有敏銳的洞察力、深刻的見解和優美精彩的文字，自然能吸引廣大的讀者。梁啟超日夜辛勞地為辦好《時務報》而工作，親自撰文、編排、校對。隨著《時務報》的廣泛發行，梁啟超也名聲大噪，“通邑大都，下至僻壤窮陬，無不知有新會梁氏者”。據傳1897年年初，梁啟超往武昌拜謁張之洞，當時的張之洞為坐鎮一方、手握重權之封疆大吏，在整個清廷官僚中也是頗有實力和影響的大人物。但一聽梁啟超求見，極為高興，破例開武昌城中門來迎接，還問屬下能否鳴禮炮，當屬下告之梁為一小小舉人，按理隻有迎接欽差和督撫時才可開中門並鳴炮，張之洞隻得作罷，以厚禮迎梁入城。梁啟超拜見張之洞那天，恰逢張的侄兒娶媳婦，賀客盈門。但張之洞丟下賓客，與梁啟超徹夜長談，張誠心邀梁出任兩湖時務院長，月薪一千二百金，被梁婉言推卻。