1894年中日甲午战争爆发，战争爆发后，清政府一直处于被动挨打的位置，而两件重大的战败也威胁到了李鸿章的地位，那就是平壤失守和北洋水师的覆灭，特别是决定北洋水师命运的黄海海战。这一仗，李鸿章苦心经营的北洋水师在日本舰队的攻击下损失惨重，五艘主力战舰被击沉，导致了对海上控制权的丧失。此消息传来，李鸿章无疑成为了问责的焦点。面对朝廷上下的弹劾之声，光绪帝坐不住了，拔了李鸿章的三眼花翎，收了他的黄马褂，让他革职留任、戴罪立功，李鸿章一下子从位极人臣到“问题官员”，这样的落差让他不窝心才怪呢。虽然失败的原因不能全部归结到他身上，但他的责任确实是不可推卸的。
可中日战争并没有结束，日军一点儿没有罢手的意思，并且有些变本加厉的意思。朝鲜占领了还不算完，日军进入中国东北地区，包括淮军在内的清军节节败退，一溃千里。到了十二月，朝廷用两江总督刘坤一代替李鸿章主持对日作战，李鸿章这才得以暂时脱身。可战局越来越对清朝不利了，大连、旅顺、登州等地都被日军占领，更要命的是龟缩在威海卫的北洋舰队也被一锅端了，李鸿章十几年的心血就此付之东流。至此，李鸿章引以为豪的淮军和水师成为了这次战争的牺牲品，那个曾经无敌的淮军也逐渐退出了历史舞台。
眼看着日本人就要打到山海关了，慈禧太后着急了，除了为了自己安全考虑，再一个重要的事情就是自己的寿辰到了，不管外面是死是活，六十大寿一定要热闹场面，可叹那些浴血奋斗的将士们，紫禁城里繁花似锦，而战场上一片惨烈。既然日本人步步紧逼，清军又不行，那就只好再走和谈这条路了，而和谈的任务又一次落在了李鸿章身上。光绪二十一年正月十九日，李鸿章被任命为头等全权大臣负责与日本谈判的事情，卸任直隶总督、北洋大臣，由他人暂时代理。而且朝廷也把刚刚剥夺的三眼花翎、黄马褂还给了他，免除一切处分，李鸿章又恢复了原来的地位，这对李鸿章只能算一个高兴不起来的“好消息”。李鸿章从天津到了北京，受到了光绪帝的接见，并定下了调调，割地不行，赔款可以接受。随即，李鸿章走访各国公使，期望他们从中斡旋。各国态度冷淡，李鸿章感到前景的严峻，割地、赔款一个都不能少，谈判的希望很渺茫。但即使是没有希望，李鸿章也要去。二月十八日他动身去日本的马关，还带上了大儿子李经方。李经方其实是李鸿章弟弟李昭庆的儿子，是过继给李鸿章作为长子的。之所以带着李经方去，七十有三的李鸿章心中一定对于这次人生中最重大一次考验充满了不安，带上李经方至少身边有亲人，真的有事还可以嘱咐后事，而这一去李鸿章还真的差点儿没了命。
1895年3月19日，李鸿章一行抵达马关，住在引接寺。日本全权代表，首相伊藤博文住在距谈判地点“春帆楼”不远的梅坊，日本外相陆奥宗光住在“大吉楼”。
3月20日，中日双方代表在春帆楼第一次会见，交换了全权证书。
互致寒暄后，李鸿章向伊藤博文申明：“亚细亚洲，我中东两国最为邻近，且系同文，讵可寻仇？今暂时相争，总以友好为是，如寻仇不已，则有害于华者，未必于东有益也。试观欧洲各国，练兵起衅，我中东既在亚洲，如我两国使臣彼此深知此意，应力维亚洲大局，永结和好，庶我亚洲黄种之民，不为欧洲白种之民所侵蚀也。”
3月21日，中日双方第二次会见，李鸿章首先要求先议停战，后议和款，日本借机讹诈，提出日军必须占领大沽、天津、山海关等地以及接管天津至山海关铁路等项，作为停战条件。李鸿章致电总理衙门，表示：“日要求过甚，自然无法答应。”
3月24日，中日双方代表第三次会见，下午三时，李鸿章坐轿，李经方等人乘人力车，从引接寺去春帆楼。李鸿章和往常一样，穿着非常华贵的天鹅绒上衣，戴着眼镜，在谈判中，他要求日方提出议和条件，日方答应次日提出。双方商谈一个半小时后休会。李鸿章一行自春帆楼回引接寺。
日本铁了心要清政府割地、赔款，胃口很大，想把北京周围都纳入自己的控制范围，当然他们也不会忘记了一直让他们耿耿于怀的台湾。李鸿章当然不想让日本人得逞，赔款可以，但割地的事情，李鸿章真的很难接受，但不接受又能怎样呢?可突然发生的一件血案改变了这个局面，血案的受害人就是李鸿章。
3月28日，在结束了第三轮谈判后，李鸿章坐轿从谈判的春帆楼回住处引接寺。半路上，一个好战分子窜到轿子前，向李鸿章开枪射击，子弹击中了他的左颊骨，进入他的左眼下方，顿时鲜血直流，昏了过去。
这个事件的发生打了日本政府和伊藤博文一个措手不及，他们没想到本来主动的谈判让这个“疯太郎”一闹，瞬间变成了被动。
李鸿章遇剌当日，其子李经方电奏总理衙门:“今申刻会议，已将停战搁起，问索议和条款，允于明日面交，归途忽有倭人持手枪对狙击，中左颊骨,血流不止,枪子未出，登时晕绝。”当日，清廷电:“览奏殊深骇愕，事机不顺，竟至于此!李鸿章以逾七之年，远使异域，受此重伤，医药能否应手?苏醒之后，精神脉气如何?枪子能否取出....轸念之怀，刻不能释......
清廷深知李鸿章此行关系重大，议和能否达成在此举，远在北京握有实权的慈禧太后急于早日停成，实现国内“安宁”，自然对李鸿章关心备至。
1895年3月28日，日本《报知新闻》登载了日本天皇所派医生和李鸿章随行医官在李被刺第二天共同检查的结果，枪弹击中了李的左限窝下一厘米处，伤口横向直径8毫米，椭圆形，呈微红色，周围肿胀，枪弹击破上腭骨的前壁，射入前倾窦，李鸿章和他的随从医官不愿切大创口仔细检查,所以子弹一直未能取出。
李鸿章遇刺，议和形势忽变，日本方面十分紧张，他们唯恐中国以此为借口在议和条件上做文章。正如日本外相陆奥宗光所说:“若李借口负伤，于使事之半途回国，非难日本国民之行为，巧诱欧美各国，使其居中周旋，不难得欧洲二、三强国之同情，而于此机会招欧洲强国之干涉，则我对中国之要求，不得不大行让步。若某强国欲乘此机会干涉，彼固以李之负伤为最好口实也。
为安抚中方，日本天皇于出事当天即派出御医及看护妇奔赴马关，并于第二天明降诏谕:“朕惟中国现在虽与我国兵争未息，而按照仪节格式，钦派头等全权大臣，前来缔结和局..应优予护卫，以资保安，朕已叠降特旨，伤令文武官员懔遵办理去后，现查据有不法凶徒，下贱已极，竟敢伤中国头等全权大臣之身，朕心深为忧虑惋惜，其凶犯，应饬吏按照国律内最严之刑办理，特明降谕旨，通饬官民，钦遵旨意，保我国兹荣耀声名，庶不再有此等狂悖不法情事，而损我国之光誉也。”
李鸿章被刺消息很快传遍全市，引起板大轰动。为防止意外，马关境内申定军律，颁行保安条例，当地驻军及警察全体出动，昼夜巡逻，遇有可疑之人，严行察问。李鸿章住所四周都有众多警察防守，出入行馆之人，仔细搜查、盘间，小小马关，气氛异常紧张。日方深知，李鸿章的安全关系着议和的成败。
刺杀李鸿章的凶手小山丰太郎（又名小山六之助），郡马县北大岛人，二十六岁，他于3月11日从横滨一家枪店买了一枝五连发，七寸五分长的最小型手枪，潜来马关行刺。开枪后，小山丰太郎逃入一家杂店中，与警察对峙，拒捕.后几经搏斗，终于被捕获。日本法院于3月30日将他判处无期徒刑，并将山口县知事及巡捕长革职。
在追溯小山丰太郎刺杀李鸿章原因时，日本当局的判决书写道：“被告丰太郎因我帝国与中国启衅致动干戈，皆中国现在头等钦差大臣李鸿章为支持，思非绝其命，则我国不能得志，难保东方之和平。适闻其奉命来我帝国山口县赤间关议和，遂决定行剌……”在法庭上，小山丰太郎也公开宣称：“日军放弃占领北京，是意味着日本的耻辱，目前同中国关系签订和约为时尚早。”可见，凶手是一个急欲吞并中国而后快的狂热的军国主义者。
李鸿章从道义上得到了国际社会的同情，他自己对于为国流血也是慷慨忠愤，说道：“如果我死了对于国家有好处，我宁愿去死。”这样大无畏的精神确实令人敬佩。李鸿章也一直保留着沾满自己鲜血的官服，他想用这个表明自己已经为清朝鞠躬尽瘁了。在这样的局面下，日本反而沉不住气了，只有尽快地结束谈判才能减轻国际社会对他们的谴责。
四月，日本同意暂时停战。李鸿章还没有痊愈，子弹一直留在他的身体里没有取出来，这让他感到非常痛苦。但日本人并没有放松对李鸿章的逼迫，他们开出了修正后的条件：承认朝鲜独立，割让奉天以南及台湾、澎湖列岛、赔偿白银三亿两，并限期让李鸿章答复。正在缠着绷带养病的李鸿章对于这个条件感到无法接受，坚持与日本进行最后的讨价还价。
到了4月17日，双方终于就合约的主要内容达成了共识。承认朝鲜独立这个行，割让台湾、澎湖列岛也行，奉天以南只限于由鸭绿江到平安河口至凤凰城、海城、营口止，赔偿的数额也从三亿两减为两亿两。李鸿章代表清政府签了字，这就是著名的《马关条约》，中日甲午战争以清政府的失败而告终。李鸿章能做到的只有这些了，减少了割地的范围和赔款，他至少对得起自己的良心，而他为此已经是身心疲惫。签完合约后的第二天，李鸿章就启程回国，他不想在这个让他视为人生最大污点的地方多停留一日，而国内迎接他的更是暴风骤雨。
