赴任时，曾写诗描绘耳闻目睹之惨状：

“试呼耆老细询问，未语吞声已先咽：自从虏骑犯长沙，巨寇如麻恣驰突，杀人不异犬与羊，至今涧谷犹流血。盗贼纵横尚可避，官吏贪残不堪说，挟威倚势甚豺狼，刻削诛求到毫发。父子妻孥不相保，何止肌肤困鞭挞。上户逃移下户死，人口凋零十无八。”818小说

而此时岳飞所驻的江南西路，情况也是相类，而且其中吉州、虔州两处地形险阻，山林深密，又处于与荆湖南路、广南东路、福建路的交界，官府难以管辖。因此自有宋以来此二州历来是盗贼之渊薮。况且当地民风强悍，至秋冬收成之后，即结集徒党，出没侵掠，已成惯例。更有豪强之家使百姓为之服役，平居则恃以衣食，为寇则假其资装。再加之政令苛虐，科敛无艺，小民无告，横遭荼毒，互相扇动，遂萌奸心，徒党浸多，乃成巨盗。

岳飞驻扎江州后，虔、吉二州之境，盗贼群起，吉州以彭友、李幼天为首，及以次首领号为十大王，约有贼兵数万人。虔州则以陈颙、罗闲十等，各自为首，连兵十余万，置寨五百余所。表里相援，捍拒官军。

两处贼兵不时东向攻扰江南东路及福建路，南下劫掠广南东路，纵横往来者数年，已成朝廷心腹大患。而此时江南西路安抚大使李回，荆湖南路宣渝薛徽言，江南东、西路宣谕刘大中，广南东、西路宣谕明橐，梧州知州文彦明等人，皆举荐岳飞率军前往讨捕。其中广南东、西路宣谕明橐奏道“虔贼为二广患。采之南论，皆言岳飞所部最为整肃，所遇不扰。若朝廷矜悯远人，特遣岳飞军来，则不惟可除群盗，而既招复叛，如刘榉辈，亦可置之陈伍，绳以纪律，使之为用。”