五月初，谢玄誓师于彭城，以刘牢之为右路军先锋，率三万大军北进。同时，以豫州刺史桓石虔为左路先锋，命其率豫州三万兵马自寿阳北上，进攻中原。
谢玄则率中军五万，后军两万兵马居中坐镇，策应两翼，都督粮草兵马北上。
虽然朝中各种意见不同，对于北伐进行到何种程度的意见不一。虽然李徽也给予了苦口婆心的劝告，希望谢玄此次北伐适可而止，只取淮北之地。但是，谢玄心中自有主张，他决定此次北伐定要取极大的战果，而不仅仅是限于小利便收手。
虽然，谢玄也认为李徽的话是有道理的。但是，经历了这么多事之后，又听到了一些关于李徽的风声，见到了李徽行事越来越放任自由，谢玄对李徽在内心里也已经产生了一些不信任。
兄弟之间的情义固然在，经历风波之后虽然重修旧好，但是破镜重圆不可能没有半点的裂痕。况且，现如今的地位名望都已经不同于当年在京城之时，如今的谢玄要考虑的事很多。朝堂权力，谢氏利益，个人声望前程，乃至大晋的国家利益，这些事以前谢玄无需全盘考虑，但现在谢玄却需要通盘的去考虑，自然在决策上自有考量。
哪怕和李徽之间没有之前的嫌隙，没有李徽和谢道韫这件事造成的不快，兄弟情义一直和以前一样，谢玄也未必会听从李徽的劝告了。
时移世易，人的想法和情感也随着身份地位和所处位置的不同而不同，这也是无可奈何之事。
除了东路北伐之外，西路桓氏荆州兵马也于五月初开始了北伐。
重病在身的桓冲不顾劝阻，披挂盔甲，被人扶上战马在江陵北校场检阅兵马，进行北伐前的誓师大会。
