自从逃离扬州之后，赵构除了派杜时亮出使金国外，还曾派洪皓、崔纵、张邵等臣出使金国议和，但全部都被吴乞天扣押在金国，有去无回，而金人的南侵则越发猖獗。

离开了建康之后，赵构在杭州没住上几天，又被迫漫无目的地四处躲避金军，过着居无定所的逃亡生活。

吴药芬道：“皇上，如此躲避下去，也不是办法，难道我们就不懂得反抗吗？”

赵构见吴芍芬言之有理，赵构在恐惧之余，又暗起了反抗的念头，毕竟南宋朝廷还有几十万大军，又有长江作为天险，的确应该反抗，不能一味忍让。他决定御驾亲征前往平江，抗击金人，吴芍芬也表示愿意与他同生共死，一同随驾前往。

十一月二十五日，赵构与吴芍芬从越州出发，签书枢密院事周望和韩世忠、张浚率兵紧随左右，当晚就住在了钱清堰。

吴芍芬端来了丰盛的饭菜，赵构又困又饿，很快就吃了个精光。正在此时，忽然有人前来禀报杜充弃建康而逃走的消息。这突如其来的坏消息把赵构和吴芍芬都吓得目瞪口呆，半晌都说不出话来。

吴芍芬愤愤不平地道：“杜充临阵逃脱，该杀！”

赵构铁黑着脸，抛下了一句道：“后宫不得干政，做好你的本份，等待朕的消息。”他边说边走了出去。

杜充弃城而逃的消息沉重地打击了赵构的反抗意志，他犹如被人兜头泼了一盆冷水，浑身惊震，大惊之余连忙召来文武百官到府堂上共同商议对策。

赵构道：“近来坏消息不断，杜充镇守长江不利，陈淬战死，王燮拥兵南逃，金国人马必来浙西追袭，事情很紧急，众卿以为该如何做？”

众大臣见时势迫人，都面面相觑，所有眼光都投向了吕颐浩。吕颐浩身为百官之首，自然不能推卸责任，当务之急，乃是赵构的安全，所以谁都不敢首先发言，只是静静地等待宰相的说词。

吕颐浩道：“以目下的形势看，再西行迎敌恐有不妥，臣有一策，望皇上仔细斟酌。”

赵构连忙问道：“什么计策？”

吕颐浩道：“金人以骑兵取胜，而我们由于有皇族、百司、官吏、兵卫及家小，人数太多。如果从陆路行走，不仅行走速度慢，一旦遇到不好走的路，粮运不畅，还极易生变。金人既入浙江，必分遣轻骑追袭，如此一来，我们必然十分被动。如果我们乘船走水路，敌骑的优势就没有了。江浙一带夏季炎热，敌人不能久留，我们可以等金人退走之后，再返江浙，敌进我退，敌退我进，此正是兵家所谓的奇计。”

赵构听完，顿时龙颜大悦道：“此计可行，你们几位大臣先讨论一下，明天召侍从台谏等来都堂一同决策。”

赵构返回了后宫，吩咐吴芍芬赶紧收拾行装，明天一早重返越州。吴芍芬见他忧心忡忡，当下也不敢多言，连夜收拾好衣物。

二十六日，赵构一行重新返回了越州，连城都都没有进去，赵构就连夜召来了侍从官们到河边的亭子里商议对策。

赵鼎道：“眼下局势是寡不敌众，无法与金人直接对抗，应避敌为上。”

吕颐浩道：“以眼下来看，避敌一事恐无异议，现在最要紧的是商量如何避敌，是否该航海避敌。”

郑望之极力反对，说道：“自古以来，还从未有一位皇帝要乘船漂泊海上以避敌，实在闻所未闻，不可思议。”

权户部侍郎叶份却非常赞同吕颐浩的建议，说道：“如果有别的办法当然更好，否则不走海路如何才能确保皇上的安全？”

赵构也另有打算，说道：“昨夜朕也想了一个晚上，航海避敌一事势在必行，卿可速寻海船准备航海。”他立即作出了决定，速往明州，准备航海避敌。

吕颐浩又道：“海船有限，乘船人数不能太多，望皇上允许暂时遣散侍从官以下的官吏随从，允其自寻生路。”

赵构不解地道：“士大夫当知义理，哪能不扈从皇帝？如无人扈从，朕这个皇帝和林间草寇又有什么区别？”

虽然赵构心中很是不悦，但事实情况确实不能带上太多的人，他也只带上吴芍芬和部分官员，一起航船直赴明州。

兀术攻下了建康之后，于十二月七日沿水路直杀到杭州，一路四处打听李紫瑕的消息。他并不知道，李紫瑕此刻正在苏州云王府中待产，赵云桦担心她再有闪失，不敢再冲锋陷阵，正郁郁不乐地留在了府中。

沿途的百姓听说有大军向杭州进发，还以为是朝廷的溃兵，于是向广德军知军事周烈禀报。

为了不让这些乱军骚乱百姓，危害社稷，周烈连忙