岳家军班师的消息不胫而走，百姓们纷纷赶来挽留。他们挡住岳飞的坐骑，痛哭失声地诉说：“我们顶香盆、运粮草，迎接王师，金贼知道得一清二楚。现今相公一走，我们就没法活命了。”岳飞勒住马头，流着泪，拿出赵构的诏书，让百姓们观看，说：“朝廷有诏书，我不能不走呵！”他只好再三安慰百姓，劝他们南撤到襄、汉一带。为此，他命令留兵几天，掩护百姓撤退。

岳飞率军从郾城班师。

金兀术听说岳家军已经撤走，不禁拍手称庆，紧接着便派兵重新夺占了中原地区的许多州县。

千古罪名“莫须有”

金兀术曾秘密写信给秦桧说：“你一天到晚请求讲和，而岳飞却正想进攻河北，还杀死我女婿，此仇非报不可。必须杀了岳飞，才可以讲和。”他向秦桧明确提出以害死岳飞为议和的条件。

绍兴八年，岳飞多次要求增添兵力，赵构加以拒绝，说“宁可缩小防区，也不能添兵”。要防止“尾大不掉”。岳飞曾当面建议赵构早建皇储，赵构更大为不满，说：“武将不应干预朝政。”岳飞重创金军主力，声威大震，这在赵构看来是武将挟震主之威，更难于容忍。加上岳飞始终不渝地反对苟安投降，坚持抗战，以“直捣黄龙”为目标，这就更难为赵构所容忍。

绍兴十一年正月，金兀术再次征兵十多万，侵犯淮西，赵构命令韩世忠、张俊等大将合兵淮西。二月初，金军已占领庐州。岳飞二月九日接到前往江州应援的诏令，稍作准备，十一日便领兵上道。三月四日，金兀术采用郦琼的计策，发兵急攻濠州，八天后破城。张俊会合杨沂中、刘所部，回兵救援，为金兵所败。接着，韩世忠在濠州附近也被金军打败。十三日，岳飞率部赶到濠州定远县（安徽定远）。这时，张俊、杨沂中、韩世忠等部宋军已经败退，而金兀术听说岳家军开到，立即引兵退回淮北。

赵构和秦桧经过密议，以酬赏柘皋之捷的名义，把韩世忠、张俊、岳飞召到临安。赵构任命韩世忠、张俊为枢密使，岳飞为副使。几天后，宣布撤消三大将的宣抚司机构，将所辖人马直属皇帝“御前”。

赵构和秦桧一举剥夺了三大将的兵权，这是他们蓄谋已久的阴谋的第一步。紧接着是解散三大将的军队，防止他们的部属因怀念旧帅而违抗朝廷命令。同时，利用三大将的矛盾，逐个翦除。五月，赵构命令张俊和岳飞出使淮东，检阅韩世忠的兵马，筹措战守之策。实际上，赵构和秦桧布置给张、岳的任务是拆散韩家军、罗织韩世忠的“罪状”。临行前，秦桧向岳飞透露赵构的真实意图，要他到韩家军驻地去搜罗韩世忠的“罪状”。秦桧还假示关怀，要岳飞防备韩家军叛变。生性耿直的岳飞立即回答秦桧说：“韩世忠已经升任枢府，楚州的军队就是朝廷的军队。公相（指秦桧）命我带兵自卫，有什么用处呢？至于叫我去收罗同列的阴私，只会使公相失望。”岳飞和张俊到楚州后，张俊一伙按照秦桧的预谋，诬告韩世忠的心腹将领耿著，说：“耿著企图动摇军心，图谋叛逆，而且还要韩世忠重掌兵权。”岳飞事先已经知道秦桧的阴谋，对韩世忠的遭遇极为感叹，他说：“我和韩世忠一起为朝廷做事，岂能使他无辜被罪！否则，我就对不起他了。”于是立即写信急报韩世忠。韩世忠得报，紧急求见赵构，哭诉了一场。赵构假装不知道这件事，让秦桧审理耿著一案，因而耿著得以免死，以刺配流放了事。