仙霞关破，岳乐岿然不动，是因为其延平大营囤积粮草极多，完全可以支应到多尼的到来，更重要的是，其身后还有通往江西的杉关，自古有‘闽之有仙霞、杉关，犹秦之有潼关、临晋，蜀之有剑阁、瞿塘也。一或失守，闽不可保矣’。
但陆军从闽北进入江西则造成态势完全不同，江西一直是满清后方，江西精锐多西调加强西南的攻势，剩余的兵马或在沈永忠麾下效力，堵在赣州，挡住梅关北上的琼藩军队，或从杉关入闽，加强延平大营，如今江西被寇，后方失稳，更可怕的是，陆军一路西进，便可破广信、抚州、建昌三府，这意味，江西与福建的交通被完全切断，在江西兵马无法阻挡的情况下，唯有延平大营的清军回撤，才能保住后路。
永历十二年四月下旬，清军开始从延平城撤退，岳乐亲自指挥撤退行动，首先是江西绿营回防杉关，保住退路，继而是浙江、江南绿营，岳乐亲率麾下八旗押阵福建绿营殿后，步步为营，全面后撤。
计划非常完美，但实施起来却状况百出，江西、浙江绿营先后发生大规模的哗变，抢劫延平、邵武两府，一路烧杀返回江西，这些外地客军如此表现，其原因源于缺饷，两广会战之后，满清一路高歌猛进的局势为之消失，取而代之的就是数千里战线上的攻防战守，而迁界禁海又破坏了沿海数省的赋税，使得其积攒数年的钱粮也只能支应起云贵战场的全力开销，即便是如此，在永历十一年，因为战事吃紧，满清恢复了朱明时代的‘三饷’以此增加了五百多万的财政收入，但仍然支持不起东南西南两场大战，在资源早已调配西南之后，东南战场财政吃紧，许多绿营兵往往拖欠饷银，如今大撤退，外省客军自然趁机抢掠截杀，以补足欠饷。
客军抢掠迅速扩大到浙江和部分江南绿营，使得延平撤退失去了秩序，在清军离开延平府之后，海军陆战队与部分海军水手强渡闽江，迅速占据了延平府的码头，城中百姓已经被兵灾祸害过了，见合众军纪良好，且出钱粮雇佣使船、拉纤、搬运之人，纷纷响应协助，大军不出五日便是全部渡江，而陆军骑兵在渡江之后，迅速组织兵马追击，乌穆组织了数队兵马，分别派遣往大路小路的追击，迫使清军放弃诸多钱粮辎重。
在延平、邵武二府境内，爆发了大小十余次战斗，陆军凶猛冲杀，而清军却是无心恋战，清军多次是击溃，以至于殿后的岳乐也无法掌握福建的绿营，被迫率领八旗精兵杀出血路，先撤往杉关。
乌穆与巴海各自率领骑兵前出，分队追杀，半路之上，乌穆的率领的混编骑兵旅被福建绿营马得功部所阻挡，而巴海的麾下以轻骑兵和龙骑兵为主的骑兵部队却是突进到了光泽一带，此地距离杉关不过百余里，抓了一批福建逃兵才是知道，岳乐率领八旗正在光泽码头渡河，巴海迅速集合兵马追击。
光泽附近已经闽江支流的上游，两岸几乎都是高山密林，码头处于光泽城外，立于两山之间，是上游少有的平缓地段，但水流依旧湍急，清军在此有大小船只四十余，还有可以过马匹和兵卒的码头。
巴海登山而望，但见码头附近地形开阔，而大量火炮和辎重车辆因为渡河不成而抛弃在路边，此间的清军已经得知追兵赶到，在河流南岸，立起栅栏，连住大车组成工事，骑兵部署在两翼，而鸟铳和弓箭手则布置在工事后面，南岸清军有近两万，骑兵也有近千，几乎是巴海麾下兵马的三倍。
随着号角声响起，合众国骑兵组织了攻击，巴海率领的骑兵中以龙骑兵为主，辅之以部分轻骑兵，巴海组织龙骑兵绕行清军左翼，攻击其骑兵，龙骑兵在马上以燧发枪射击，无论射程还是杀伤力都远超对面满洲八旗手中的角弓，八旗骑兵白白挨打，只得冲击近前，以骑弓射之，龙骑兵退后，轻骑兵上前，列阵骑墙两道，轻易便是撕碎了清军的少量骑兵。
而面对规模巨大的步兵大阵，巴海没有以卵击石，而是命令骑兵后撤，沿途收拢清军遗留的火炮，这些火炮因为不能过浮桥而被抛弃，但是大部分都被清军损坏，只得可以用火炮六门，幸好，巴海联络上了被阻隔的乌穆部，接洽之后，接应了两个飞骑炮连过来，使得巴海麾下有红夷炮三门，大佛郎机三门，四磅炮八门和轻型榴弹炮四门，巴海以炮轰击清军大阵，清军营中多是劈山炮等一类的小炮，反