此时，曾国藩对于广东厘金的征收信心十足，他粗略估计了一下，每月可以得到二十万两左右，湘军的军饷问题可以得到彻底解决了。
当时的两广总督劳崇光，也是曾国藩的一位老熟人。当年，正是劳崇光为曾国藩出谋划策，带他去见权倾一时的穆彰阿，才有了曾国藩日后的大红大紫。
既然劳崇光、晏端书两人都是曾国藩的挚友，那么广东厘金的征收按理说应该是不会存在任何问题的。曾国藩的心里也正是这么想的。然而，现实却与曾国藩的理想完全相反。
广东厘金自1858年开始征收，起初奸商勾结洋人抵制征收，后来征收的权限逐渐被一些有政府背景的大商人垄断。大商人倚仗官府的势力横征暴敛，而官员则从中分得红利。所以，晏端书等人在广东主持厘金的征收，必然触犯到这些大商人以及官僚的利益，遭到他们的抵制。
另外，晏端书等人征收厘金是为了供给湘军的，这对广东本省并没有直接的好处。在地方保护主义思想的驱使下，广东上下都不满晏端书等人的行为，都不愿交厘金。
面对这种局面，当年独具慧眼帮助曾国藩出人头地的劳崇光，也不跟曾国藩一条心了。他给曾国藩写了一封信，倾吐他的难处。劳崇光说，广东十多年来，已经支出军饷一千多万两，亏空达到了三百万两，各银库全都空了。广东本省的军队每月需要军饷十三万多两，而厘金收入每月却只有四万多两，缺口有八九万两之多。广东连本省军队都养不活，更甭提供给湘军军饷了。
劳崇光又指责晏端书等人，说他们到处征收厘金，喧宾夺主，什么事都不向他这个总督请示，不仅导致民怨沸腾，而且加剧了广东财政的困难局面。
劳崇光与曾国藩唱反调，清廷不得已，只好换马。新任命的两广总督是曾国藩的老朋友刘长佑。1859年，刘长佑率部在宝庆击败石达开后，入广西作战。1860年即升任广西巡抚，是湘军集团中较早获得督抚实权的将领之一，比曾国藩还早。
在镇压太平天国的过程中，清廷刻意提拔并非曾国藩嫡系的刘长佑、刘坤一两人，有着很明显的牵制曾国藩的意味。刘长佑一直与曾国藩保持距离，但两人之间并没有矛盾，乡谊之情还在。清廷调刘长佑为两广总督，是在支持曾国藩。
清廷又任命曾国藩的好友黄赞汤为广东巡抚。黄赞汤曾经在江西大办捐输，为湘军筹集过许多军饷。这次，在广东厘金征收迟迟打不开局面的情况下，清廷把他调往广东，对他寄予了很高的期望。
之后不久，刘长佑调任直隶总督。两广总督由晏端书继任。这一时期，主持广东厘金征收的，主要是晏端书和黄赞汤。
黄赞汤到任后，对广东财政情况进行了一番详细考察，之后他写了一封信给曾国藩。在这封信中，他虽然批评劳崇光目光短浅，不能体谅曾国藩，但又认为劳崇光对于广东财政情况的描述是符合实情的。黄赞汤还表示，在目前的情况下，广东不可能为湘军筹措大量军饷。接着，晏端书、黄赞汤又向曾国藩提出了一个四六分成共享广东厘金的方案。
种种迹象表明，晏端书、黄赞汤并不能很好地完成为湘军筹饷的任务。清廷只好继续换马，调湖南巡抚毛鸿宾前往广东，任两广总督。毛鸿宾是曾国藩的同年，和曾国藩、胡林翼等人的关系都非同一般，是曾国藩嫡系集团的重要成员。
毛鸿宾举荐曾国藩的好朋友郭嵩焘代理广东巡抚，获得朝廷通过。这样一来，广东督抚依旧都是曾国藩的好友。
郭嵩焘是个典型的书生，见识过人，但却不太会做事。他到广东后，不顾实际情况，试图对广东厘金的征收进行彻底的整顿，又大力倡导捐输。他的这种急躁的做法，遭致广东绅民普遍的抵制。郭嵩焘、毛鸿宾乃至整个湘军，都成了广东人咒骂的对象。
毛鸿宾一看势头不好，把责任都推到郭嵩焘身上。郭嵩焘生性耿直，不太懂得官场的潜规则。面对毛鸿宾的诬陷，他奋起反击，将毛鸿宾贬的一文不值。他甚至对人说：“曾涤生（曾国藩，号涤生）以识人著称，向朝廷推荐不少人才，但就是看错了这个毛寄云（毛鸿宾，号寄云）。”
对于郭嵩焘这个人，曾国藩看得很准，所以他虽然采纳了郭嵩焘的许多重要建议，比如创建湘军水师之类的，但一直反对郭嵩焘出来做事。当他得知郭嵩焘谩骂毛鸿宾后，很不高兴，对身边的幕僚说：“毛寄云也擅长识人，向朝廷推荐的人才也不少。只是看错了这个郭筠仙（郭嵩焘，号筠仙）。”曾国藩的这句话流传很广，一时间，郭嵩焘成了官场的笑柄。
督抚不和，也就不可能筹集到大量军饷。清廷一而再，再而三地换马，但始终解决不了最根本的问题。复杂的利益链条已经将广东绅民紧紧地捆在了一起，外部人士想要打破这种平衡，无异于痴人说梦。
从1862年晏端书到达广东起，到1864年湘军攻克江宁，前后将近两年时间，曾国藩从广东总共得到白银一百一十万两，每月大概四万七千两左右，离曾国藩预想的每月二十万差了三倍多。就是这点银子，曾国藩还必须分出一部分给左宗棠，真正进入曾国藩嫡系部队腰包的，也就几十万两而已，这对于解决曾国藩嫡系部队日益严重的缺饷问题来说，实在是杯水车薪。
和安徽一样，江西也是湘军和太平军反复争夺的地方，经济非常凋敝。但是，为了筹集到足够的粮饷，曾国藩在明知江西已经不堪重负的情况下，依旧试图从江西获得更多。这自然会引起江西官场上下的集体抵制。与江西争夺饷银，是曾国藩在整个镇压太平天国期间，最感到愤懑的事情之一。
和左宗棠在湖南、胡林翼在湖北一样，曾国藩在江西也进行了减漕改革。江西地丁漕折征收的额度本来就不高，各种耗羡、加征也比较少，与湖南、湖北的情况不一样。但曾国藩在进行减漕改革的时候，照搬湖北的模式，结果定的标准过高，不但没有减少漕折的征收，反而增加了。前面说到过，曾国藩在安徽的减漕也存在着同样的问题。这样一来，农民的积极性没法调动，改革也就不会有什么成果。
减漕改革虽然失败了，但在厘金的征收方面，曾国藩却取得了不小的进展。从1856年开始，曾国藩就在江西征收厘金。
和湖北一样，江西的厘金也主要是盐厘。江西历来是淮盐的引地。当时，九洑洲被太平军占领，淮盐无法运往江西，造成了盐荒。于是，大量私盐进入江西。
与此同时，曾国藩为了获得稳定的军饷来源，奏请由湘军组织人员将浙盐运往江西销售，获得朝廷批准。为了保证浙盐的销售，曾国藩必须抵制私盐，最好的办法就是向那些私盐贩子收取重税。于是，曾国藩开始在江西设置厘卡，大量征收厘金。