赵构虽然重新启用秦桧，下定了决心要与金人议和，但在张浚的劝说之下，赵构并未完全放弃伐齐。在张浚的主持下，讨伐伪齐的准备工作仍然在进行着。

张浚在龟山约见四大将，商讨征伐刘豫的方略。

韩世忠坚决主张进攻收复中原。

张俊的态度有些暧昧，说道：“唯张都督马首是瞻，都督要战则战，都督要守则守。”

刘光世是明确的反对，认为不该进讨，而应防守。

岳飞则提出了完全不同的建议，认为不该进讨，而应由商、虢进攻关陕。另外，岳飞还提出合并淮右之兵由他统一指挥建议。

四员大将之中，只有韩世忠一人明确支持着张浚，这让张浚一时之间很难作出决策。

岳飞见张浚并不认可自己的方略，便亲自往赴行在当面向赵构提出了自己的方略。

赵构此时正徘徊在议和和收复中原之间，无法作出决择，听了岳飞的新建议之后，心中更是不快。但他并没有立即表态，而是耐心地询问收复关陕所需的时间。岳飞耐心地解说，说要收复关陕最少需要三年的时间。赵构听完之后，心中顿时起疑，他认为岳飞所谓的收复关陕纯粹是托词，本意其实就是要扩充自己的实力。

赵构正色说道：“朕驻跸于此，全仗淮甸以为屏障。如果使用淮兵指日便能平定中原，朕当然不会吝惜。朕怕的是，中原还未收回，淮甸已经丢失，如此一来，朝廷连个落脚的地方都没有了。”

岳飞当场遭到了赵构的责备，竟然无言以对，见赵构和张浚都反对自已的方略，岳飞的心情十分郁闷，情绪也很低落，便起了再次丁忧的念头。

所谓的丁忧，就是当时的官员在父母去世后辞去公职回家守孝的人事制度。

去年岳飞的母亲因病去世，当时正值宋齐交战之时，张浚曾下令岳飞调军队驻防武昌。岳飞至孝，不顾朝廷谕令，擅自扶柩回庐山安葬母亲，并连续上表请求丁忧。

张浚却不为所动，多次以朝廷的命令催促岳飞回营，军情紧急，在百般无奈之下，岳飞才不得已重回了军队部署军事。时至今日，守孝期限仍然未满，加上进攻关陕的方略被否定，他在心灰意冷之下，再一次不辞而别，擅自回到了庐山守孝去了。

张浚得知岳飞违抗军令之后，非常气愤，他也认为岳飞要收复关陕是假，想借机扩充实力是真。擅离职守，回家守孝，也只是意在要挟赵构，因此向赵构提出了建议，将岳家军交给张宗元来统领。

赵构老谋深算，他也有自己的见解，并未采纳张浚的建议。事后派出了参议官李若虚去江州请岳飞重回军营。

赵云桦与李若虚一起同到了东林寺见到了岳飞，并传达了赵构的旨意。岳飞虽然与赵云桦交情颇深，却也不同意赵云桦的说辞，仍然执意不从。

李若虚见连赵云桦也劝不动他，便出言指责道：“岳相公难道真的要造反不成？相公本是河北一农夫而已，只因天子赏识才被委以兵权，就以你现在的实力，能与朝廷抗衡吗？相公若执意不从，还会连累到我等的性命，相公会任由我等无辜受戮吗？”

赵云桦打铁趁热地道：“张大人言之有理，请岳将军速回军营，以免秧及池鱼，连累众人。”

岳飞被赵云桦的一番说话打动了心，再一次无言以对。经过几天反复思虑之后，岳飞终于同意与赵云桦、李若虚等人一同前往行在请罪。

张浚见到了岳飞，恩威并施，一方面夸他很得赵构赏识，另一方面又责怪他不该在国家危难之际弃军守丧。

岳飞也知道自己太过意气用事，立即上殿面见赵构，伏地请罪。朝廷正当用人之际，赵构当然不会因此而真的降罪于岳飞，于是下旨岳飞重新上任。

与此同时，张浚还解除了刘光世的兵权。皆因刘光世平日里不仅花天酒地，沉迷于酒色，并且大吃空额，只知敛财，根本不理军务。更重要的是，他的军队除了挠民之外，全无一点用处，几次与金人作战，全都是不战而败。

赵云桦则认为刘光世出身武将世家，树大根深，怕影响士气，不能随意免去他的军职，以免带来意想不到的后果。

赵鼎的想法也与赵云桦一样，认为刘光世在淮西的势力厐大，并不同意朝廷免去他的军职，但他此时已经辞相，张浚更是不会听他的劝告，继续我行我素。

张浚不能容忍刘光世居功自傲，并不将他这个左相放在眼里，早想除之而后快。在龟山会议后不久，张浚借口说刘光世拥兵自重，不思报国，不肯收复中原，足见其居心叵测，便乘机撤去了刘光世的军职，命王