岳飞被害时，韩世忠曾质问秦桧：“岳飞犯了何罪？”秦桧说了一句“千古留名”的话――“莫须有吧。”

当时的“中兴四将”都被罢了军权。当然韩世忠也是如此。

中兴四将，岳飞、韩世忠、张俊、刘光世四人中，张俊投靠了亲家秦桧，刘光世打仗就是个长腿将军，在政治方面更是高手，明哲保身。只留下韩世忠还能说几句公道话。但说到带兵解救岳飞，这是他万万做不到的，因为南宋武将的地位本来就低下。带兵的权利被文官制约。再说韩世忠此时也是“泥菩萨过河――自身难保。”

其实，韩世忠抗金名声和决心都比岳飞大，开始秦桧要收拾的是韩世忠。当然，这是宋徽宗赵构和秦桧两个人的主意。起初秦桧还让岳飞和张俊，收罗韩世忠所谓的罪证呢。只是岳飞不肯陷害朋友，提前告诉了韩世忠。韩世忠由此提起了注意。

同时，岳飞得知秦桧拷问韩世忠下属，意图搜罗罪状，还火速派人给韩世忠通风报信，韩世忠马上觐见宋高宗，跪在地上表明忠心，祈求饶命，得到了高宗出面保全。而岳飞则遭到了秦桧、高宗、张俊的同时嫉恨，成为了他们的加害目标。

后来，韩世忠心灰意冷，不问政事，花天酒地，置买良田。就像汉初的萧何一样，“自汚”

保身。史料记载他“蒙赐到田土，并私家所置良田，岁收数万石”。还先后娶了好几房妻妾，到处饮酒作乐，使得高宗觉得他既贪财又好色，对朝廷不会有什么大的威胁。当然，这时他更没有能力去救岳飞了。再者说了，军队也不是他自家的军队。别说韩世忠了，就连岳飞培养的数量很多的“岳家军”又能如何呢？不是都眼睁睁看着岳飞被冤杀吗？

绍兴十一年十二月二十九日，岳飞被杀害，韩世忠感到心灰意冷，从此闭门谢客，不问世事，终日带着几个小童喝酒写词。绍兴二十一年八月四日韩世忠病逝，享年六十三岁。