从绍兴元年春到绍兴三年夏，岳飞费了两年多的时间，将长江中下游所有的游寇扫荡乾净。
对于居住在长江以南，所有的南宋民眾来说，金人至少短期内不会再来，地方上的盗匪被剿灭，区域内的官军又是以「军纪严明，秋毫无犯」闻名的岳家军，所以农民归乡耕种，士农工商各安其业，朝廷无论是推动政令或是赋税徵收都比较顺利。
儘管对于未来，整个南宋还是分裂为主战与主和两派，但是在管辖区内让人民安居乐业，双方还是同意这是首要之务。
在这两年多的剿匪任务中，岳飞陆续收编部将与士卒，岳家军已经初具雏形。主要部将包括：前军统制张宪、中军统制王贵、后军统制王经、马军统制寇成、水军统制张荣、踏白军统制董先等人。
其实让岳飞去打这些游寇根本就像是训练战，他的前世吴用在整个梁山聚义过程，本就是一路与其他山寨或官兵的对抗中磨鍊，吸收各种人才而壮大。这一世轻车熟路，又是打着正规军旗号，不愁粮餉，配合老练的攻守手段，所以当然是战功彪炳了。
七月中旬，平定了吉、虔的农民起义军之后，岳飞的声势如日中天，连高宗都整天企盼看到久别的老朋友。
岳飞同长子岳云从江州出发，九月九日到达杭州，十三日岳飞第一次覲见皇帝身份的赵构。
高宗赐给岳飞金线战袍、金带、手刀、银缠枪，海皮鞍，以及衣甲、弓箭、马鎧各一副。还特赐岳飞一面红色大战旗，上面绣着高宗手书的「精忠岳飞」四个金字，交代岳飞在行军时务必高高竖起。
岳飞的新官衔是镇南军承宣使、江西沿江制置使。不久又升迁为江南西路舒蘄州制置使，在江州置司，独立建置帅府。划归岳飞防守的范围也扩大了，跨越长江北岸，自舒州至蘄州，直联中原腹地，方圆数百里。
封其子岳云为武显大夫遥郡刺史。并赏给他弓箭一副，战袍、银缠枪各一件。
岳飞父子双双跪下，叩首谢恩：「皇恩浩荡、臣父子粉身碎骨也难回报！」
赵构、岳飞、韩诚等三人，从宗泽那里分别至今，歷经了七年之久，终于在高宗的书房里再度聚首，真是感慨万千。
想当年大家都只是二十岁上下的小伙子，如今一个贵为天子，一个是手握重兵，名镇天下的大将，韩诚虽然没有显赫的官职，但是谁都知道他是皇帝最信任的死党，最近刚娶了吴皇后的妹妹，与高宗成为连襟。
以目前的状况来看，似乎与当初订定的目标相差不远，其实大家都心知肚明，如果不是够努力，又有贵人与老天帮忙，根本不可能拥有今天这种成就。
首先是宗泽突然去世，继任者杜充又是个小人，不但压制了岳飞的歷练与发展，更严重的是一路拋弃汴京与健康，使金兵铁骑直接威胁到朝廷。高宗这边则是爆发苗刘兵变，差点丢了性命，当然是自顾不暇；接着又遭金兀朮追杀，漂浮海上。
苗刘兵变有韩世忠大叔挺身相救，李俊一方面提供给高宗海上庇护所，一方面提供给岳飞根据地与粮餉，让他没有后顾之忧去建功立业。同时，李俊所训练的水军，分别在黄天荡与得胜湖的大捷，使金人停止南侵，更是影响重大。
「总之，朕知道你们水滸诸将居功厥伟。朕更知道，你岳飞与韩世忠是大宋朝廷的两根大柱，是朕的左膀右臂。」高宗赶紧作了结论：「韩大叔说他年事渐高，不适合来往奔波，所以将来希望以护卫京畿为主；至于外面打杀，就多多仰仗岳兄弟了。」
高宗还将当时在海岛上所写的「郭子仪传」送一份给岳飞，并且一脸正经对岳飞说：「郭子仪虽然手握重兵驻扎在外，但是他始终心尊朝廷，只要接到詔书要他做甚么，他都是义无反顾马上照办，没有任何犹豫，所以能够享尽后福，连子孙都受益无穷。今卿所管兵乃朝廷兵也，如果能像郭子仪一样知道尊重朝廷，保证你跟他一样，非但自享后福，子孙也能昌盛。万一你拥兵自重而轻视朝廷，不遵守朝廷号令，经常以各种理由拖延甚至抗命，不但子孙无法享福，自己也可能遭受不测，卿宜诫之。」
高宗深知岳飞最大的缺点就是择善固执，爱恶分明，一但鑽进牛角尖，任他天王老子也不怕。如是私事还好，万一牵扯到国家大事还来这招，要顺他又撇不下皇帝尊严，可能陷入无可收拾的窘境，所以预先告诫他。
早在初夏六月，岳飞还在与农民起义军作战之时，宋神武左副军统制李横就率领随州知州李道，联合伊阳县风牛山寨的翟琮北伐偽齐刘豫。一开始十分顺利，偽齐部队纷纷倒戈，牛皋、彭玘、赵起、朱全、牛宝、朱万成等军归附于李横，张玘、董震等军归附于翟琮，偽齐唐州知州胡安中也被李道招降。
李横率同牛皋、彭玘等人攻下汝州、潁昌府、信阳军等地。翟琮带领董震、张玘、董贵、赵通等人也攻入西京。
刘豫马上向金军求援。金兀朮率领金兵主力，与偽齐李成的二万偽军会合，在汴京西北牟施冈与宋军进行决战，李横、牛皋等不敌金人的重鎧「拐子马」骑兵，纷纷溃败。不但收復的州县再度失守，连翟琮位于伊阳县风牛山寨的大本营都被金军攻佔，彭玘战死，李横、翟琮、牛皋、李道、张玘等全部败退到长江一带。
这时韩世忠被任命为太尉，这是武将最高阶，正二品的高官。
岳飞将兵力沿着长江布署，总部设在江州。
原来驻守江州的傅选，连同他的部队全部併入岳家军；江西安抚使司管辖下的所有军马，此后也全都由岳飞抽调使唤；再加上原本驻屯在江北舒、蘄两州的部队，也全部归他节制。
还有北伐失败，败退到长江一带的牛皋、李道、张玘等人，也都经由朝廷明令，命他们携带所部人马，从此接受岳飞指挥调度。
岳飞把他们全都任命为统制，让他们还是继续带领原来的部队。
岳家军本军分为五军，前军统制张宪，中军统制王贵，后军统制王经，马军统制寇成，水军统制张荣。
根据军士特长成立的特殊部队，本来只有踏白军，由董先担任统制，这时再增设选锋军统制李道，胜捷军统制赵秉渊，破敌军统制李山，游奕军统制姚政，背蒐军统制岳云等。
又任命王贵为岳家军同提举一行事务，马成、徐庆、牛皋为中军统领，随行护卫主帅安全。
从此，名震天下的岳家军，才正式完整呈现在眾人眼前。
驻扎在长江中游的岳家军，以及驻扎在上游的张浚，驻扎在下游的韩世忠、张俊、刘光世，五个重镇形成了长江坚固的防线。
跟长江下游三个老部队比较起来，岳家军除了人数比较少之外，其他无论是素质还是作战能力，其实都是有过之而无不及。
不久，岳家军的称号也由神武副军改为神武后军。