就在送別路易絲的第二天，曾紀澤向他的父親曾國藩提出了第二項建言，即在安慶開設一所製造槍炮彈藥的工廠，這也是之前他就向曾國藩提過的，那時也得到了曾國藩的首肯。
曾紀澤的提議得到了曾國藩以及李鴻章等幕僚的支持，曾國藩遂於不久後在安慶建立了大清第一座手工製造武器彈藥的工廠，取其名爲“安慶軍械所”。
軍械所創辦之初，所僱工匠全部是漢人，採用的方法也是傳統的手工製作，效率極低。曾紀澤曾向曾國藩進言，向歐洲國家購買機器，並僱用洋匠，或者乾脆採取大冶礦務局的合資方法辦廠，以獲取洋人的技術，但卻被曾國藩斷然拒絕。
曾國藩的理由是軍工製造對於大清而言極其重要，如此重要的產業，必須完全的掌握在官府手中，若是容忍洋人蔘與儘量，則大清軍火製造的詳情將盡爲洋人窺視，若然將來與洋人發生衝突，則是大爲不利。用現代的話來解釋曾國藩擔憂，那些軍工屬於國家一級軍事機密，任何可能泄露機密的威脅都是不能存在的。
曾紀澤認爲曾國藩的擔憂是完全多慮的，眼下想改變清軍武器落後現狀，需要的是想方設法的獲得洋人的技術，而非自以爲是的苛求於自己那點落後家底的保密性，說句不好聽的話，就大清的那點軍事機密，趟開門來給人家瞧，人家都未必懶得去看一眼。在這一點上，曾國藩顯然要比胡林翼要保守許多。
曾紀澤沒辦法說服他的老爹，他意識到，想要按照自己的方式發展近代的工業，就必須有一塊自己可以完全做主的地盤。
權力不足一直是制約曾紀澤施展宏圖的難題，然而，機會很快就來臨。
九月初，由於李秀成加強了對上海的攻勢，當地仕紳不得不再次派代表來向曾國藩求救，這一次，曾紀澤在曾國藩按照原有的歷史做出決定前，搶先向他請求派由他率領着常勝軍前往上海支援。
曾紀澤先前在軍事上展現出的才華，已經足以讓曾國藩刮目相看，在他此刻看來，曾紀澤是繼曾國荃之後，他們曾家又一位可以擔當大任的良才。於是，曾國藩在經過了一番深思熟慮之後，決心派曾紀澤援救上海，並賦予了他在江淮一帶招兵買馬，擴充常勝軍實力的權力。
儘管如此，曾國藩對曾紀澤此行仍然有些許的不放心，於是他派了李鴻章一同隨他而去，從旁輔佐曾紀澤完成救援上海的任務。
原來這任務是應該由李鴻章去完成的，他的淮軍也是藉以崛起，但現在歷史在1861年9月的某一天發生了決定性的改變，曾紀澤將成爲即將組建的淮軍領袖，而原本的那個主人公卻成爲了他的助手。
曾紀澤首先要做的便擴軍，這一點上，他決定走李鴻章的老路，在受命組建淮軍的第二天，曾紀澤便踏上了拜將之路，與李鴻章同往合肥去招攬當地團練人馬。
曾紀澤拜訪的第一人是張樹聲，此人早年倡團練，與其父張蔭谷及弟樹珊、樹屏、樹槐等在周公山下殷家畈築堡寨，興辦團練，對抗太平軍，曾多次配合李鴻章所率團練，在合肥一帶圍攻太平軍，因功授知府銜。後與大潛山周圍的劉銘傳、董鳳高和紫蓬山下的周盛波等部團練相互呼應，號爲“三山“團練，聲勢頗大。
李鴻章對張樹聲、劉銘傳等人的將才十分欣賞，極力的向曾紀澤建議收攬他們現在的人馬組建淮軍，而“三山”團練集團中，以張樹聲威望最重，可謂一呼百應，故曾紀澤要想收攬這股不可小視的人馬，那就必須先將張樹聲納入麾下。
經李鴻章引薦，曾紀澤在周公山上的張家堡見到了張樹聲與張樹珊兄弟，這兩人對於兩江總督曾國藩大公子的大駕光臨倍感驚喜，急忙召集全寨團丁列隊迎接。曾紀澤由寨門而入，見張家堡團丁們精神抖摟，隊列齊整，雖然手上抄的還是落後的鳥槍和大刀，但從士氣上來看，確是一支可用的隊伍。
張樹聲兄弟客客氣氣的把曾紀澤迎入大堂，幾經寒暄之後，李鴻章向他們說明了曾紀澤此行的目的。那張樹珊聽罷興奮得很，二話不說，拍着胸脯當即答應，而張樹聲卻保持着沉默，神情表現的相當謹慎。
曾紀澤道：“組建淮軍，正是爲朝廷效力，掙個前程的大好機會，總比窩在這小小的張家堡要好得多，振軒兄莫非不想一展抱負，光宗耀祖嗎？”
張樹珊馬上道：“大公子莫見怪，我這大哥做事一向贍前顧後的，能跟着大公子打長毛賊，將來的前程肯定大好，這等好事咱們哪能不願意呢，是吧大哥。”
張樹聲瞪了他二弟一眼，向曾紀澤道：“大公子是見過世面的人，在你面前小的也不說假話。加入淮軍爲朝廷效力，咱們自然是義不容辭，但小的聽說攻打上海的長毛李秀成部有幾十萬人馬，我們這張家堡團丁滿打滿算也不過三千多，就憑這點人馬，怎麼能守得住上海呢。”
李鴻章笑道：“振軒兄休要被粵匪人多勢衆就給震住了，豈不知兵貴精而不貴多麼，不知你有沒有聽到過‘常勝軍’的傳說？”
張家兄弟窩在淮西劃地自守，於外界的消息當然不是很靈通，更何況常勝軍的異軍突起不過短短數月，所以他們自然沒有聽說過。於是李鴻章便繪聲繪色的將曾紀澤率領着常勝軍一干奇功說來，只聽得那張家兄弟神乎其神，唏噓感慨。
曾紀澤卻顯得很謙遜，道：“少荃說得有點誇張了，我的常勝軍真要有那麼厲害，這會乾脆就直搗金陵，活捉了洪毛老賊了。不過，少荃想表達的意思兩位應該很清楚吧。”
張樹聲道：“莫非大公子想給淮軍也裝備洋槍洋炮麼？”
曾紀澤點頭道：“正是，不光是我們淮軍，裝備洋槍洋炮將是大清每一支軍隊今後的發展趨勢，不僅僅如此，將來咱們還要自己造槍造炮，跟洋人的槍炮一樣厲害。另外，我的意思不但是想讓張家堡加入淮軍，如果有可能的話，我希望肥西附近的團練都可以加入，這樣一來咱們要人有人，要槍有槍，李秀成就算有百萬大軍又如何。”
曾紀澤的話給了張樹聲信心，他的表情總算有了幾分興奮，終於不再猶豫，表示願爲曾紀澤效犬馬之勞，並表示願意替他引薦劉銘傳、周盛波等人，並說服他們一同投靠於曾紀澤的淮軍旗下。