却说李秀成大军从九月下旬出发，十月进皖南太平府、芜湖，在三山被清军击败，随即改道走繁昌、南陵，至太平一带，与侍王李世贤部会合。侍王李世贤、辅王杨辅清、主将黄文金、刘官芳等先期接受天京的委派，各率所部攻打皖赣，任务是切断两岸湘军的联系，掩护李秀成部的西进。此时，徽州、休宁为太平军李世贤所占，周围的重镇泾县、太平等也为杨辅清、黄文金、刘官芳等部所占，环徽州两百里皆是太平军，湘军总部处于太平军的围困之中。

曾国藩驻节祁门，祁门处万山之中，形势四塞，险咫天成，只湖水一线与外界相通，其余的都是崇山峻岭。到此驻扎，曾国藩自有意图，湘军虽然精锐，但人数毕竟太少，以此扼守，是要屏障安庆，阻止太平军进入皖南、赣东一带，但又示形于敌，吸引太平军主力。

此着，实在过于冒险。太平军知道曾国藩在祁门大营，攻势甚烈。曾国藩连忙收缩兵力，连忙飞调张云兰和鲍超两军回防，张云兰驻黟县，鲍超驻渔亭，并催左宗棠进驻浮梁和景德镇，维护粮道兼作后防力量。

可是，鲍超远在桐城，回防还需要时日，曾国藩大营空虚，仅靠张云兰部拼力抵抗，祁门处在惊涛骇浪之中。

十月下旬，李秀成率领三万大军赶至祁门参战，当天即突破天险羊栈岭，并占领黟县，距离祁门仅六十里。曾国藩大恐，太平军可朝发夕至，此命必然难保。他首先做好了后事安排，给最亲爱的兄弟分别写信，交代了家事，然后手写遗书，放置帐中，室悬佩刀，准备太平军一至就以身殉国。曾国藩一生面临好几次死难的危急关头，但都大难不死，这次也不例外。正在这时，鲍超奉命率领湘军主力星夜赶至，随后乘李秀成部发动攻击，李秀成军反击，先胜后败，损失千余人。

李秀成一战受挫，虽是小挫，却已胆怯。恰巧，石达开旧部汪海洋等率领二十万大军返回，已经到达浙江西部。招得汪海洋等人，即可兵力大增，李秀成闻讯，再无战心，几天后，他不顾其他友军的战况如何，擅自退出战场，改由箬岭赴休宁、徽州，取道屯溪，直本江西去了。

曾国藩又一次咸鱼翻身、死里逃生，不可谓不是奇迹。其实，论实力，李秀成军要比鲍超所部强的多，鲍军只有几千人，而李部三万人，周围还尽是太平军配合的部队，军力不少于十万人，如果以多击少，不惜代价，拿下祁门，曾国藩不死也会自杀。曾国藩一死，安徽北部安庆、桐城的湘军必然动摇，安徽局势则可转危为安，得一曾国藩，何止得城若干、败湘军几何可以比拟。可惜李秀成一心为壮大自己的势力，急于招兵，不顾大局，自己扬长而去。

李秀成一走，其他各部虽然坚持攻击，但其效果不大。黄文金、营天义李远继攻打景德镇，被左宗棠以少击多，大负亏输，并丢失浮梁县。黄文金人称“黄老虎”，作战勇敢，他亲自带兵反攻。在战斗中，鲍超出其不意的夹击，太平军大败，黄文金本人受伤，只得退驻建德，后移池州，由此渡江援安庆。

右军主将刘官芳带所部赖文鸿、古隆贤配合黄文金行动，由中路进取祁门，直捣湘军大营，然遭驻防湘军夹击，损失惨重，被迫退回。

同样，侍王李世贤部也在攻打祁门后路里无功而退，败回浙江，后配合李秀成在浙江作战。