鄭州失守後，北洋集團大爲驚恐，在洛陽的北洋軍58師原本就快要抵擋不住熊克武部和預備四師的進攻，在得知鄭州陷落的消息之後，58師上下人心惶惶，兵無戰心，士氣極爲低落，預備四師又連續發動了兩天的猛攻，58師終於抵擋不住，殘部作鳥獸散，師長王承斌更是死於亂兵之中。
洛陽的丟失，讓屯兵潼關的曹錕部如坐鍼氈，直接面臨東西兩面夾擊的危險境地，曹錕想得很清楚，在北伐軍還沒有來得及從東西兩面夾擊的空檔中，他便讓吳佩孚帶人秘密在黃河渡口搭建簡易橋浮橋，連夜從潼關從倉惶撤退到黃河以北地區，並同時派人在黃河沿岸監視北伐軍的動靜，儘管此時黃河水位有些高，可他也顧不了許多了，他可不認爲僅憑自己受傷不到兩個師的兵力可以抵擋東西兩面的加急。
8月24日，北伐軍全面佔領除去山東境內的黃河下游地區，西線戰場、中路戰場和東線戰場連成一條線。
8月27日，南京發出命令，西路軍蔡鍔部留下兩個新的整編師駐防，蔡鍔部渡過黃河向山西境內逼進。經過短暫休整的中路軍受命繼續北進和東進，渡過黃河先後攻佔新鄉、鶴壁和濮陽等地，至此北洋集團在河南境內的勢力全部被剷除。
面對北伐軍的步步緊逼，袁世凱不得不緊急抽調第3、12、13、四個師火速南下與原有的第10師、17師殘部一起迎戰蔡鍔，又從東線戰場抽調15、16、60、61師向西運動到曹縣、東明、甄城、梁山一線佈防，防止中路軍攻擊東線北洋軍防線的側翼。
除此之外。袁世凱又命令將62師、63師和66師從河北中北部移動到陽谷、大名一線，防止北伐中路軍繼續北進突入河北境內。
與北洋軍越打越少不同的是北伐中路軍越打越多。熊克武部已經迴歸到西路軍建制，中路軍張孝準能指揮的有26師、31師、預備四師、湘軍43師、暫編91、92、93、94師。一共八個師的兵力，在兵力上比東線戰場蔡國棟能指揮的部隊還要多。
北洋軍在東線戰場抽調走四個師指揮，防線上終於出現了漏洞，這讓東線戰場負責指揮安徽北部作戰的伍世友發現了戰機，他發現駐防在魚臺的北洋軍只剩下一個71師，這個是個新編練而成的部隊，新兵訓練都來不及完成就被派上了戰場。
得到情報指揮的伍世友當即向蔡國棟請戰，蔡國棟經過仔細推敲指揮很快就同意了伍世友的作戰計劃。
8月29日，伍世友命令自己最精銳部隊之一的29師率先向駐防魚臺的北洋軍71師發起攻擊。東線戰場正式打響，這是自北伐開戰以來，東線戰場打的第一仗。
29師不愧是華東12個整編正規師的其中一支部隊，它的戰鬥力絕對不是預備四個師和其他各省地方軍隊能比的。
戰鬥只進行了一個上午，29師只用了一個團的兵力就全線擊潰了71師的全部防線，71師殘部倉惶向後撤退至金鄉，於此同時，已經進入無人防守的商丘的32師也向單縣進軍，單縣只有15師一旅。在得知32師正在向單縣進軍之後，15師第一旅立即在城外修築防禦塹壕，可是對於已經實現了馱馬化的華東軍而言，15師修建塹壕的速度也太慢了。塹壕還沒有挖掘完成，32師就已經打到了跟前，15師一旅倉惶之間不得不撤往城內防守。師部分配的一個山炮營也來不及轉移而被迫扔在了城外被32師俘獲。
當得知1旅遭到攻擊之後，駐防在曹縣的15師2旅立即派出一個團前來增援。可惜這點兵力對於32師這種精銳部隊根本不夠看的，32師分出一部分兵力圍困單縣。用大部隊埋伏了前來增援的15師2旅1團，這個團在一個上午的時間裡全數被圍殲。
失去了炮兵部隊的15師1旅被圍困在單縣城內惶惶不可終日，在32師鋪天蓋地的炮火打擊下，城防部隊損失慘重，又在32師連續兩天的攻擊之後，剩下兩千餘人強行突圍在損失了大量人員後，只剩下一千兩百多人向東北方向的金鄉撤退，將自己的師長丟在了西南面的曹縣。
身在曹縣的15師師長劉詢只剩下一個團的步兵，除此之外還有一個騎兵團、一個工兵營、輜重營、一個炮兵營。在第1旅被圍困在單縣的時候，劉詢根本無法進行增援，只能眼睜睜看着第1旅被圍攻，只因他手上的兵力太少，兵力太過分散。
正所謂牽一髮而動全身，以劉詢手上現有的兵力和火力根本無法抵擋32師的兵鋒，在權衡之後，劉詢向馮國璋發電請求向後撤退到金鄉，馮國璋也考慮到以劉詢現在兵力根本不是32師的對手，爲了避免32師被吃掉，馮國璋命令劉詢撤退到菏澤與王廷禎的16師和60師的曹瑛部互爲犄角，這三個師恰好分佈在一個三角形的三個角上，主要其中一部遭到攻擊，另外兩個師可以隨時增援。
攻佔魚臺的29師繼續進軍，躲在金鄉的71師殘部和15師一千多人在金鄉勉強抵擋了兩日後不得不一直撤退到濟寧纔算站穩腳跟，但由於71師和15師一部的大幅度撤退，給北伐軍東路軍制造了一個十分有利的戰機。
沒有了71師殘部的牽制，29師立即揮師東進，在微山湖畔收集了大量的漁船，一個團的兵力以迅雷不及掩耳之勢攻佔了微山湖東面的微山縣城站穩了腳跟，馮國璋全然沒有防備29師竟然會利用微山湖上的漁船渡過南北走向的微山湖。
在得知微山縣城失守的消息之後，馮國璋大驚失色。他立即調兵想搶回微山，但此時29師大部隊已經渡過微山湖。就連重武器都全數運了過來，原本均衡對峙的局面終於被打破了。29師攻擊了北洋軍東線戰場的西面側翼，這讓馮國璋措手不及。
看着快要抵達棗莊城下的29師，他只能拆東牆補西牆，他的司令部可是就設在棗莊啊，現在29師已經近在咫尺，如果不調兵過來擋住，他的司令部就只能轉移，可司令部的轉移帶來的後果是災難性的，前方的將士必定認爲司令部都撤走了。這仗還有什麼搞頭？而且司令部從棗莊撤走，在軍事上就意味着把處在臺兒莊的北洋第3師和第4師這兩個精銳師的後背留給了北伐軍，一旦這麼做，北洋第3師和第4師很有可能遭到圍殲。
要從其他抵擋抽調兵力就必要就近，太遠不能及時趕到，而且兵力數量不能太少，最少也要一個師的兵力，想來想來也只有將駐守蘭陵的19師抽調過來。19師師長雷震春，此人武藝高強。手不釋卷。此人很早就追隨袁世凱，是袁世凱的鐵桿支持者，在原來的歷史上，他本是北洋第7師師長。
如果要講資歷。雷震春並不比馮國璋低，只不過馮國璋的起點要比雷震春高一些，小站練兵的時候。馮國璋是主要教官之一，而雷震春是步兵右翼第三營後隊隊官。
雷震春很多從前小站時期的手下現在都成了師長。有的官職比他還高，他心裡當然極爲不爽。特別是馮國璋，混到現在他也只是一個師長，而馮國璋已經統領着十個師。
接到馮國璋的調令，雷震春存心要給馮國璋一個難堪，他命令部隊一天只行三十里，從蘭陵到棗莊足足走了兩天才到，等他趕到的時候，馮國璋在棗莊西面的防線已經岌岌可危，不過好在他及時趕到，才避免了棗莊被29師攻破的厄運。
馮國璋本來一肚子火，可雷震春總算是在關鍵時刻趕來了，倒是沒有造成無法彌補的後果，可即便如此，馮國璋在棗莊的防禦力量也已經損失慘重。
雷震春部被調到棗莊的小心很快被軍事情報局的人查出來，情報以最快的速度傳到了蔡國棟的手上，蔡國棟當即給伍世友下達了命令，讓29師休整一天，放棄攻擊棗莊，於次日夜裡沿微山湖東岸掉頭南下攻擊在臺兒莊的北洋第3師和第4師側後方。
棗莊距離臺兒莊並不遠，29師接到命令之後於第二天休息一天，並沒有繼續向棗莊發起進攻，而剛剛抵達的雷震春部也只想出工不出力，沒有主動攻擊29師，其實雷震春也不是不想，而是想着等休息好了再與29師一決雌雄。
9月2日晚，八點才天黑，天黑之後早已經吃過晚飯並且準備妥當的29師悄悄撤離了陣地並迅速向南方前進，只在棗莊西面的陣地上故佈疑陣迷惑了馮國璋和雷震春。
9月3日清早6時許，29師大部隊抵達臺兒莊附近的馬蘭屯，不過由於重炮部隊還沒有抵達，師部主官當心缺乏重炮部隊的支援而功虧一簣，而且行軍一夜，全體官兵又餓又困，於是讓全體官兵吃點乾糧之後休息，不過爲了保密，29師派人封鎖了前往臺兒莊的道路，只准進不準出。
中午，野戰炮團和各團山炮營相繼抵達，隨後輜重部隊也趕到了，於是師部高層給蔡國棟發電，相約下午三點從南北兩個方向同時展開進攻。
在棗莊的馮國璋還正在納悶29師怎麼連續兩天了都沒有動靜，陣地上倒是有人走動，偶爾還會向這邊打幾槍，他絲毫還不知道29師已經不在原地了，早已經抵達了臺兒莊附近。
馮國璋總算是一個比較精明的人，他心中存着疑惑，命雷震春派出一個營的兵力對29師的陣地發起了試探性進攻，可反饋回來的消息讓他大吃一驚，29師的陣地上只有一個班的人，這些人在雷震春派出一個營進攻之後就迅速騎馬跑得不見了蹤影，兩條腿又如何追得上四條腿？
棗莊，北洋軍第二軍司令部。
“你說什麼？29師不見了？”馮國璋聞訊大吃一驚。
參謀道：“是的，大人！”
馮國璋急忙問道：“29師去了哪裡？快說！”
“暫時還不清楚，大人，我已經派人去查了，29師不在陣地上，一萬餘人還有重炮部隊離開肯定會留下痕跡，我相信我們很快就會得知他們離去的方向！”
馮國璋此時心裡泛起陣陣寒意，這個29師只要不是渡過微山湖向西離開，無論向哪個方向前進都會給他的部署打來很大的破壞，他最擔心的是29是南下去攻擊北洋第3師和第4師的後背，如果是這樣，只怕第3師和第4師凶多吉少，要知道在面臨兩面夾擊的情況下，這個世界上只怕沒有任何一支軍隊能夠扛得住，更可怕的是一面先行進攻，吸引守軍的全部注意力，另一面趁着守軍的全部注意力被吸引到正面之後再從背後突然伸出，沒有任何一支軍隊可以在這樣的情況下全身而退。
掏出懷錶看了看，馮國璋道：“現在是2點40分，我給你二十分鐘的時間，一定要確定29師離開的方向！”
“是，大人！”
當馮國璋得知29師的確沿着湖邊南下的消息時已經是下午三點半了，他立即命令參謀讓發報員給陸建章和楊善德，這兩個人分別爲第3師師長和第4師師長，楊善德原來在浙江新軍任協統，不過後來他被蔡國棟排擠出來之後就回到了京城繼續在袁世凱手下混飯吃，去年袁世凱便讓他出任了第4師師長，只可惜當陸建章和楊善德收到馮國璋的電報時已經爲時已晚。
臺兒莊的戰鬥打響在下午三點鐘，之所以選擇這個時間是因爲天氣的問題，三點鐘正是昏昏欲睡的時候。之前，南北雙方在這裡只是對峙，並沒有開火，一直以來雙方好像都已經習慣了一般，可突然而來的戰鬥打破了這裡的對峙局面，因此北洋第3師和第4師所有注意力都被對面進攻的21師和23師給吸引了。