后来，曾国藩创建湘军，在思想文化建设方面，大多模仿罗泽南的方式。重视思想道德的培育，也成为湘军显著的特色之一。
朱孙贻、罗泽南、王錱、刘蓉等人创建湘乡勇，在湘乡掀起了团练乡民的**。不久以后，团练的乡勇，熟悉战阵和战技的人，增加到十万多人。湘乡首开团练的风气，湖南各地纷纷响应，宝庆、浏阳、辰州和泸溪等县，也纷纷办起了团练。后来，这些团练都成为曾国藩湘军的中坚力量。
罗泽南、刘蓉等人并不满足于在湘乡取得的这么一点成绩，他们有着更大的抱负。咸丰帝即位后，他们试图通过曾国藩影响新皇帝，来一场自上而下的改革，彻底清扫陈规陋习，实现国家中兴。
在罗泽南、刘蓉的推动下，曾国藩在1850至1852年间，先后上了《应诏陈言疏》《议汰兵疏》《敬陈圣德三端预防流弊疏》《备陈民间疾苦疏》《平银价疏》等多封奏疏，对当时社会的一些弊病以及皇帝本身的一些毛病进行了深刻的剖析，试图以此警醒咸丰帝，促使他改革。曾国藩的这些奏疏，在当时产生了很大的影响，不论是在京城士大夫中，还是在湖南读书人当中，曾国藩都成为了一个积极进取的符号。
1850年，咸丰帝刚刚即位，就装模作样地令大臣上疏言事，就朝廷的用人和政务提出意见和建议。曾国藩很受鼓舞，上了一道《应诏陈言疏》，专门讨论用人问题。
鸦片战争后，社会混乱，民生凋敝，当时的许多人将导致这一局面的原因归咎于人才问题，像龚自珍就在《已亥杂诗》中写道：“九州生气恃风雷，万马齐喑究可哀。我劝天公重抖擞，不拘一格降人才。”曾国藩也有同感。
在《应诏陈言疏》里，曾国藩认为培育人才，需要从三个方面着手：转移之道、培养之方、考察之法。
所谓转移之道，就是皇帝或者有社会声望的人，应该做出表率，好学向善，这样就会形成一种风气，人才就会出现。
培养之方指的是当人才出现后，要懂得培养。要不断地教导人才，甄别人才，剔除没有能力的人，重用有能力的。
考察之法指的是要通过多种途径考察人才。要鼓励大臣上疏，帮助皇帝鉴别人才。
曾国藩提出的这些培育人才的方法，都是经过认真思考，参照历史，对照现实而得出来的。后来，他带领湘军南征北战，将这些培育人才的方法用到实践中去，造就了彭玉麟、李鸿章、沈葆桢、丁日昌等等许多人才。这些人才，在后来对中国近代史产生了重大的影响。
1851年，曾国藩又上了一道奏折，即《议汰兵疏》。这道奏折针对的是绿营军队的弊端，主张裁撤绿营军队五万人。
当时，曾国藩是兵部侍郎，对于绿营的积弊，他深有感触，所以上这道折子，以宋朝、明朝养兵过多导致财政危机的历史事实，规劝咸丰帝裁撤绿营。
当时，清朝军队主要由八旗和绿营构成。八旗早已没落，入关时的威风早已荡然无存，但曾国藩不敢提裁汰八旗，因为八旗与满蒙贵族的关系密切。
绿营的情况比八旗好不了多少。嘉庆年间白莲教起义的时候，绿营就已经不堪作战，最后还是凭借团练才将起义镇压下去。
1849年李沅发起义，绿营两千多兵围攻新宁城，一个多月没能成事，最终还是靠了刘长佑的团练才成功。绿营打仗不行，争功诿过倒是高手，当李续宾准备前去追击李沅发的时候，绿营将领为了争功出面阻拦，弄得李续宾一气之下解散乡勇，回到湘乡。绿营兵自己去追李沅发，结果损兵折将，费了九牛二虎之力，才在第二年夏天将李沅发生擒。可以想见，绿营的战斗力有多么差劲！
1851年，太平天国起义爆发。起初，太平军并没有多大的战斗力，之后江忠源五百楚军就能在蓑衣渡重创太平军足以说明这一点。但被派往前线的绿营部队毫不战斗力，只知道尾追，从来不敢迎头痛击敌人。结果耗尽国库存银，不仅未能伤及太平军一根毫毛，反而令他们日益壮大。
这些事情，引起了曾国藩的思考。最终，他提出了裁撤五万绿营的办法。当然，这一方案在当时是无法实施的。这个时候，曾国藩并没有想到要大力举办团练，更没有想到要编练一支新军。
曾国藩一连上了几道奏折，满以为皇帝会按照他的思路，大刀阔斧地进行改革。然而，事实令他很失望。咸丰皇帝根本不是雍正那样敢于革新的明君，他的下诏求言不过是做做样子罢了。曾国藩的这些呕心沥血、关系到大清王朝兴衰存亡的奏章，他草草地看过一遍后，便丢在一边，不再理会了。
曾国藩对此感到很不满，他在给朋友的信中说：“自皇帝去年下诏求言以来，大臣们上的折子不下数百道，其中难道没有一两篇是很重要的吗？或者交给相关部门去讨论，以‘毋庸议’三个字不了了之。或者通谕各省，各省接到谕旨之后，并不认真执行，好像这么事与自己干系一样。”
改革梦想遭遇重大挫折，曾国藩感到很茫然。他在给刘蓉的信中流露出消极的心态，结果被刘蓉狠狠地教训了一番。
刘蓉写信给曾国藩说：“你上的那几道奏折，都关系到国家的兴亡，说的都是别人不能说、不敢说的话。现在国家并未因为你的奏折而受益，而你却因此获得了敢于进谏的好名声，你难道问心无愧吗？”又说：“你既然处在那个位置上，就应该为天下苍生仗义执言，立志完成中兴大业。现在大乱刚刚开始，一般的读书人都有些怯懦，贤能的人更应该挺身而出，不要官，不要钱，不要命，只求对国家有所帮助。”
刘蓉的这些信立意非常高，曾国藩读了之后，非常羞愧。正是在刘蓉的鼓励之下，曾国藩又上了一道奏折，即《敬陈圣德三端预防流弊疏》，将矛头直接对准皇帝本人，从而将这场自上而下的改革运动推向最**。
曾国藩上这道奏疏，本意是为了杜绝皇帝的骄矜之气，扭转大臣们的阿谀之风。曾国藩批评咸丰拘泥小节，经常在朝堂问一些小事，而像镇压太平军之类的大事却不闻不问，又批评他不讲求实际，即位之初就下诏求言，但从未真正重视并实施大臣们的上奏，又批评他刚愎自用，镇压太平军的战略谋划从来不和大臣们商议，一个人决断。
在封建专制达到顶峰的清朝，曾国藩上这样的一道奏折，是冒了极大的风险的。事实上，曾国藩也非常担心皇帝会因此罢他的官，甚至砍他的头。
咸丰皇帝的心胸狭窄在曾国藩的这道奏折面前暴露无遗，他将奏折狠狠地甩到地上，并且召集军机大臣，讨论如何惩治曾国藩。
眼看曾国藩的仕途不保，首席军机大臣祁寯藻出来替他求情，说：“皇上您圣明，所以曾国藩才敢直言劝谏。他这道奏疏，道理虽然不通，但精神可嘉。”其他的大臣也纷纷求情。咸丰帝这才压下怒火，没有处罚曾国藩。过了几天，曾咸丰皇帝还专门就这件事情做了自我批评，算是表演了一番“明君”风范。