岳飞蒙冤遇害之后，韩世忠心灰意冷，上交兵权，闭门谢客，不谈兵事，不与旧部往来。他常骑小驴漫游西湖，自号清凉居士，表面逍遥，内心满是壮志难酬的苦闷。

韩世忠出身陕北绥德贫苦人家，十八岁从军，在西北和西夏浴血奋战，从小兵一步步成长为将领。靖康之变，他护宋高宗南渡，屡立战功。黄天荡一战，以八千水军围困完颜宗弼十万大军四十余日，威震金国。大仪镇设伏，重创金军先锋，被称为南宋中兴第一大捷。他与岳飞、张俊、刘光世并称中兴四将，是南宋抗金的核心支柱。

武将功高，却令宋高宗忌惮。朝廷一心求和，秦桧从中撺掇，手握重兵的大将便成眼中钉。绍兴十一年，朝廷召韩世忠、岳飞等人入临安，名义升迁枢密使、枢密副使，实则剥夺兵权。韩世忠身居高位却处处受牵制，亲手带出的部队也遭到拆分整编。

岳飞下狱，满朝文武无人敢发声，唯有韩世忠当面质问秦桧。秦桧拿“莫须有”搪塞，韩世忠愤然驳斥：“莫须有三字，何以服天下！”但一己之力，无力扭转局面。

绍兴十一年除夕，岳飞被害，岳云、张宪遇害。目睹忠良惨死，韩世忠彻底心寒，接连上书辞官。高宗顺势应允，授闲职，封福国公。

自此韩世忠彻底脱离军政。闭门居家，研读佛道典籍，谢绝旧部故交。时常骑驴游西湖，外人只见悠然，却看不见一个志在收复中原的武将，被时代困住的悲凉。偶作诗词，字里行间尽是英雄失意。

晚年他大肆购置田产家业，看似为子孙谋生计，实则是自污自保，以此打消朝廷的猜忌。

绍兴二十一年秋，韩世忠病逝于临安。宋高宗追封太师、通义郡王。宋孝宗时追封蕲王，谥号忠武，配享高宗庙。

一生征战的名将落幕，他的境遇，也是南宋一众主战武将共同的时代悲剧。