在咸丰初年曾国藩官作到侍郎，相当于现在的各部次长。他的知己固然承认他的文章道德是特出的，但是他的知己不多，而且少数知己也不知道他有大政治才能，恐怕连他自己也不知道。所以在他的事业起始的时候，他的声望并不高，他也没有政治势力做他的后盾，但是湖南地方上的士大夫阶级确承认他的领袖地位。他对洪秀全的态度就是当时一般士大夫的态度，不过比别人更加积极而已。
那时的官兵不但不能打仗，连乡下的土匪都不能对付，所以人民为自卫计，都办团练。这种团练就是民间的武力，是务正业的农民借以抵抗不务正业的游民土匪。这种武力，因为没有官场化，又因为与农民有切身利害的关系，保存了我国乡民固有的勇敢和诚实。曾国藩的事业就是利用这种乡勇，而加以组织训练，使它成为一支军队。这就是以后著名的湘军。团练是当时全国皆有的，并不是曾国藩独创的，但是为什么惟独湘军能成大事呢？原故就在于曾国藩所加的那点组织和训练。
曾国藩治兵的第一个特别是精神教育的注重。他自己十二分相信孔孟的遗教是我民族的至宝。洪秀全既然要废孔教，那洪秀全就是他的敌人，也就是全民族的敌人。他的“讨贼檄文”骂洪秀全最激烈的一点就在此：