正当李鸿章在组建江淮乡勇时，朝廷传来信息，一方面催促曾国藩尽快发兵东援，另一方面清廷已在上海“借夷助剿”，即向洋人借师，用以镇压太平军。洋人当时集中了400人，3门炮，组建了“洋枪队”。洋枪队组建后的第一仗，便将近2000人的太平军打得溃不成军，杀了1000多人，活捉了300多。在后来的屡次战斗中，洋枪队多次获胜，因此被人称为常胜军。当然，常胜军偶尔也打败仗。
曾国藩对大清朝廷“借夷助剿”的主张不予支持。他认为，这种措施是权宜之计，它只可以解得近忧，而无法排除远患，而且，洋枪队在战斗中要是不断得到发展，将来势必尾大不掉。于是，曾国藩立即上奏朝廷：洋枪队至多只能在上海城内执行防务，指望洋枪队出击进剿，这是万万使不得的!当时，清廷正指望洋枪队去收复已被太平军攻占的江苏省会苏州。为了避免出现这种形势，曾国藩催促李鸿章速聚乡勇，尽早东援。
这些淮军被集中到安庆后，来不及进行系统的训练，曾国藩就与李鸿章商议给这些士兵如何装配。曾国藩主张淮军的装备、粮饷及训练方式完全照搬湘军模式，武器装备则主要是刀矛、小枪，还有少量的重型武器，如抬炮、小炮、劈山炮。小枪的使用方法主要是从枪的前膛装进火药，然后牵出药线，开枪时，就是点燃这个药线。有时药线受潮，小枪就成了哑枪。抬炮、小炮、劈山炮等在使用上都有类似的不便和毛病。这些武器，被利用来对付太平军是不嫌落后的，但要与
