在北洋艦隊全軍覆沒後，日軍不用擔心後方了，於是全心全意向遼東進攻。應戰日軍的是湘軍將領吳大澂，他發了一篇檄文，內容譯成白話節選如下：“兩個月內本大臣必當與日本兵決一勝負，本大臣的部隊以精槍快炮為前隊，堂堂之陣、正正之旗，能進不能退，能勝不能敗。湘軍子弟萬眾一心，而你們日本人長期作戰，疲憊不堪，豈能是我們湘軍這些生力軍的對手？本大臣以仁義之師，行忠信之德，不喜歡殺人，念爾等日本臣民各有父母妻子，豈會願意以自己的血肉之軀來抵擋我大軍的槍炮？你們無非是迫於將領的命令，遠涉重洋而來清國作戰，在此冰天雪地之中，饑寒交迫，生死在呼吸之間，聽不見父母的悲痛之聲，看不見妻子的哭泣麵容，仗打勝了都是將領的功勞，仗打敗了就是你們自己倒黴。這是拚千萬人的性命來博得大島圭介一個人的喜悅……兩軍交戰之時，爾等日本官兵戰敗後如果無處逃生的話，隻要看見本大臣的免死牌，就交出刀槍，本大臣派人收爾等入我軍軍營，把你們同中國人民同等看待（看來吳大澂還是人道主義者），等仗打完了就派輪船遣送爾等回國。本大臣發布這個告示，天地鬼神所共鑒，決不食言。如果爾等依然執迷不悟，拚死抵抗，那就來吧，你們挑選精兵利器與本大臣交戰三次，勝負不難很快分出。爾等三戰三敗之時本大臣自有七擒七縱之法，最後一定讓爾等心服口服。”
這篇大話檄文發出不久，他與日軍交手，共三次，三戰三敗，最後被革職。
3月初，牛莊、營口相繼陷落，遼東半島全部淪陷。
隨著中國的連戰連敗，議和被提上了日程。伊藤博文說：“我們的談判對手，一、李鴻章，二、恭親王，此外任何人我們不接待。”於是李鴻章無奈成了和談代表。史學家楊國強說：“炮口威逼下委屈求和既是難事，又是汙名。但麵對日人‘逼我和款’的局麵，卻沒有一個人願為天下作計，分擔難事和汙名，諸人相對默默，若以這些人作反襯對象，李鴻章白發遠行的零丁身影確乎顯出了挺拔和剛毅。”
1895年3月14日，李鴻章作為議和全權代表離開了清國，踏上了日本的土地，途中他賦詩：“萬頃波濤離海灘，天風浩蕩白鷗閑。舟人那識傷心處，遙指前程是馬關。”昔日曾作“丈夫隻手把吳鉤，意氣高於百尺樓。一萬年來誰著史，三千裏外覓封侯”之詩，說出“酒酣提劍橫萬騎，下與濁世掃風塵”之言的豪氣萬丈的李鴻章無奈地作為戰敗國的代表來到日本。日本給了李鴻章禮遇，然而公理在強權麵前顯得那麼脆弱。一位日本人由此寫道：“四億人中第一翁，敗餘來仰聖恩隆。卑辭厚禮請和議，不似平生傲慢風。”
李鴻章的談判對手是伊藤博文，那麼伊藤博文是什麼樣的人呢？看一個故事就知道了。他小時玩打仗遊戲，他率領的隊伍潛伏在蘆葦深處，看到“敵軍”來了，伊藤博文下令幾個人正麵出擊，另外幾個人跟著他迂回到敵人背後，幾個孩子不知他葫蘆裏賣的什麼藥，但這位“將軍”一向用兵如神，不好多問，就隨他在蘆葦裏匍匐前進，等他們繞到敵人背後，伊藤博文竟然從口袋裏掏出打火石，將蘆葦點燃，“敵軍”和正麵的孩子打得正歡，忽覺後邊熾熱，連忙回頭，見火勢洶洶，結果幾個孩子被燒傷破相，伊藤家支付大量賠款了事。從小看到大，伊藤博文是個什麼人想必您已清楚了。
據陸奧宗光回憶，談判開始前日本財政部提出要10億兩白銀賠款，伊藤博文大怒，認為此舉可使清國崩潰，於是與他們據理力爭，最終將賠款減至3億兩。
3月19日雙方見麵了。
伊藤博文：“30年前，我就聽說了中堂鎮壓太平軍的威名，非常羨慕，於是立下誌向，要與中堂較量一番，便從政了。”
李鴻章：“現在你贏了。”
伊藤博文：“十年前在天津時鄙人曾向中堂進言，貴國之現狀有改進之必要，但而後貴國依舊不思進取，致有今日，我深感遺憾。”
李鴻章：“我國被舊製度困擾，轉瞬十年依然如故，本大臣自慚心有餘而力不足，貴國兵將都已西化，裝備精良，因此取勝。我來之前也覺得我國必改革方能自立。”
伊藤博文：“的確應該改革。”
李鴻章：“這次的事真是萬分遺憾，我們兩國是近鄰，同文同種，本無冤仇，怎料竟以兵戎相見。”
伊藤博文：“我也感到遺憾。”
李鴻章：“中日兩國今雖交戰，終不可不恢複雙方永久之友誼，此次幸而息止幹戈，不僅應恢複從來之友誼，而且應進一步發展成為親睦之友鄰，這對中日兩國都有利。試看今日之歐洲，各國軍事訓練都極嚴格，軍隊也極精良，不可能不對亞洲有野心，我們兩國都是東亞大帝國，如果能使亞洲大局安定，永結友好，則對抗歐洲列強也非難事。今我國人雖多數怨恨貴國，而我對貴國反而感恩。因為我國有識之士鑒於今日的大敗必會覺悟。倘能恢複兩國和平，則以唇齒相依的關係促進兩國興盛，永保東亞和平。試看東亞除貴我兩國外還有國家嗎？我國是老大，若能再完備陸海軍，開發無盡的寶藏，並與貴國合作，則與歐洲列強分庭抗禮亦非難事。”
伊藤博文點頭稱是。
3月20日雙方在馬關春帆樓舉行首次正式會談。
伊藤博文：“我們的停戰條件是大沽、天津、山海關清軍繳械，天津至山海關鐵路交由日本管理，且停戰期間軍費由清國承擔。”
李鴻章：“太苛刻了！天津、大沽、山海關是北京咽喉，直隸鎖鑰，倘貴軍占領此等要地，我們則反主為客，令我國人有身在異國之感。我是直隸總督，這三處都是直隸地盤，都給你們，我臉往哪擱？中國從來沒準備與外國爭，所招的都是未經訓練的新兵，因此現在到了這個地步，中日兩國是鄰邦，豈能長久相爭，早晚必和好。但如果和好要給中國留體麵，不然的話我國人憤怒，即使和好也難持久。”
伊藤博文：“現在兩國交戰，清國突然要求停戰，對日軍士氣不利，所以要以險要之地作抵押，我們才不會吃虧。”
由於雙方價碼差距太大，這次談判不歡而散。
3月23日雙方舉行第二次會談，伊藤博文提出了和談條件：“我們的條件是割讓遼東半島、澎湖列島、台灣島，賠償軍費3億兩白銀。中堂對此隻允、不允兩句話而已。”
李鴻章：“難道就不許分辯？”
伊藤博文：“隻管辯論，但不能減少。中堂是外交前輩，肯定明白：兩國力量相等，外交就是力量；兩國力量懸殊，力量就是外交。這才是外交的規矩！”說罷攥緊了拳頭。
李鴻章：“老夫老矣，但要在談判桌上逼老夫就範，你們日本的劍還不夠鋒利。”
伊藤博文：“可日本的武士劍已遙指貴國東三省，如果咱們談判破裂，您離開這裏，那麼我們就會向北京進軍，當您回到北京後，北京還是否是清國的我都很難保證。”
李鴻章：“貴國在戰局上占主動，什麼條件都提得出來，但物有極限，若一意孤行，未必對貴國有利，風物長宜放眼量。”一意逞雄的國家等於是放棄了從容崛起的主動，最後的結局並不美好。聯係到後來日本帝國的無條件投降，李鴻章的目光無疑是銳利的。