曾国藩创建湘军之后，便开始对抗太平军。起初，湘军与太平军作战，屡战屡败。每一次失败，对曾国藩来讲都是一次沉重的打击。面对失败的痛苦和其他方面的压力，曾国藩不只一次想要自杀，结果都被手下拦住了。
为此，曾国藩总结失败的经验教训，最后得出结论，只有谨慎作战，才会增加打胜仗的几率。果不其然，曾国藩在变得越来越谨慎的同时，湘军打胜仗的次数也越来越多。
战场上需要谨慎作战，官场上更需要谨慎为官。因为，官场相对于战场来说更隐蔽也更加复杂。
随着平定太平军的节节胜利，曾国藩的权势越来越大，然而曾国藩不以为荣，反为其忧。毕竟官位越高，接触的高官越多，要想在其中游刃有余，谈何容易，更何况他还是一个外权大臣。曾国藩在日记里总是写到，官位越高，权势越重，就越容易招致大祸，因此，他总是将事情尽量做得更周全，不要留下缺点或漏洞，以免受到别人的指责，或使一些异己分子抓住把柄不放，导致自己因小失大。
平定太平天国运动前后，朝廷和湘军之间的风波基本平息。曾国荃不再归隐，于同治四年（公元1865年）再次踏入仕途，担任湖北巡抚一职。当时出任湖北总督的是官文。此人虽没有什么才能，不过他是满人，在官场上仍是洋洋得意。曾国荃对此人深为不满，于是上奏，说官文是肃顺的余党，应该一并铲除。结果，奏折呈上后，御史佛尔国却反参了曾国荃一本，他说曾国荃图谋不轨，想诬陷官文，按照大清律法，应该将曾国荃入罪。后来，经过调查，官员的确与肃顺等人有关系，清廷将其罢免。曾国荃的做法无疑会得罪清政府中的满清权贵，如果曾国荃在日后出现疏漏之处，曾国藩也肯定脱不了干系。
为了让曾国荃日后谨慎，曾国藩写信开导：“顷阅邸抄，官相处分极轻。公道全泯，亦殊可惧！”他在信中向曾国荃讲明了当时的情况，官文虽然是肃顺余党，但由于是满人，受到的惩罚非常轻。官场就是这样，这样的环境无法改变，只有试着去适应它。
同治五年（公元1866年），湘军将领蒋益澧任广东巡抚，上任不足一年就被弹劾，转而为广西按察使，职位连降两级。从中足见官场变幻莫测，稍不注意，便会有所闪失。得意的时候可能会一年升迁数次，而失势的时候又会一落千丈，曾国藩以古人为鉴，以今人为镜，将官场看得透实而真切。
同治八年（公元1869年），他在给黄翼升的信中写道：“吾辈久居高位，一有不慎，名声即损，唯小心谨慎，时时若有愆尤在身，则自然无过矣。”
同治十年（公元1871年），曾国藩已是六十高龄，次年，他的一生结束了，身节俱全。去世前的几个月，他仍然不忘谨慎，给兄弟写信时，再次告诉他们仕途险恶，望他们保重。他这样写道：“官途险，在官一日，即一日在风波之中，能妥帖登岸者实属不易。如将帅之和厚中正，以为可免于艰难，不谓人言籍籍，莫测所由，遽至于此。”曾国藩这样做，目的之一是想让兄弟能够学会他的谨慎，不要因为大意而连累家族，毁了自己辛苦创下来的基业。
由此看来，曾国藩谨慎于微的做法，才使他在官场上纵横多年，游刃有余。