就在張鉉率軍遠征高句麗的同時，唐軍也加緊了在西線的戰役，薛舉、李軌、樑師都、劉武周就像四把鋒利的匕首頂在唐朝的後背，使李淵如鯁在喉，如芒刺背，也正是這個緣故，唐軍在攻打壺關失利後，便立刻撤軍回太原，不再糾結於對空虛河北的攻打，而是調頭對付劉武周南侵。
唐軍二十萬兵力幾乎都在對付這四支割據勢力，其中劉武周由李元吉應對，李軌由李建成應對，薛舉和樑師都則由李世民率十萬大軍分別剿滅。
唐朝傾舉國之力應對這四支勢力，半年內確實取得了很大的進展，李建成密派武威豪強安興貴佯投李軌，說服其兄安修仁投降了唐朝，安氏兄弟暗中勾結河西胡人反叛李軌，趁李軌率軍西征羌人之時，說服李軌部衆造反，李軌走投無路，兵敗被抓，被李淵斬首於長安。
而隴西薛舉雖然聲勢浩大，但他爲人殘暴，強徵暴斂，河湟男子盡皆驅趕從軍，在隴西一帶民憤極大。
儘管薛舉在淺水原一戰擊敗唐軍，但他卻被李世民派去的刺客所殺，唐軍隨即大舉反擊，薛舉軍隊大敗，他兒子薛仁杲率殘兵敗退至西平郡，部屬皆衆叛親離，薛仁杲被部將宗羅睺所殺，人頭獻給了李世民。
河西河湟兩路皆平，唐軍士氣大振，李世民率八萬大軍分兵三路北征樑師都，李世民部將段德操在會寧郡涼川縣大敗樑師都堂弟樑洛仁，斬敵五千人，另一支軍隊由驃騎將軍藺興粲統帥，在平涼郡擊敗悍將辛獠兒，辛獠兒只率數百騎狼狽北竄。
而第三路由兵部尚書屈突通率領，在弘化郡迎戰樑師都率領的三萬騎兵，雙方激戰三天三夜，李世民率援軍殺至，樑師都大敗北歸，他一方面向突厥緊急求援，另一方面召集殘部拒守靈武郡。
李世民的八萬大軍隨即殺至靈武郡，而此時，突厥始畢可汗由於在突厥內部爭位中失利而憂憤成疾，不久病逝，由其弟繼位，稱處羅可汗，突厥內部紛亂，無暇南顧。
但張鉉已滅契丹，佔據了遼東，處羅可汗不想唐軍在西面坐大，便派其弟莫賀咄設率軍三萬趕往靈武郡援助樑師都。
與此同時，一份從長安送來的八百里加急快報抵達了靈武郡。
李世民的大軍駐紮在鳴沙縣，這裡位於靈武郡最南面，綠洲少，戈壁多，時值八月，靈武郡一帶乾燥酷熱，大地如同着火一般，席捲方圓數千裡，唐軍水土不服，中暑者極多，戰鬥力迅速下降。
但酷熱中暑並不僅僅是唐軍遭遇的困難，樑師都利用騎兵和熟悉地形的優勢，派出十幾支小規模騎兵隊，南下騷擾唐軍的軍糧運輸，這些騎兵隊十分熟悉地形，神出鬼沒，一連摧毀三支唐軍糧草運輸隊，使唐軍的後勤補給出現了困難。
大帳內，李世民憂心忡忡地來回負手踱步，這時，屈突通、段德操、長孫無忌和張公瑾快步走進大帳，李世民回頭看了衆人一眼，擺擺手道：“大家請坐吧！”
長孫無忌見李世民面有憂色，便問道：“殿下可是爲糧食不足而煩惱？”
李世民苦笑一聲，“煩惱之事太多了，何止糧食一件。”
這時，屈突通緩緩道：“當初張鉉平琅琊郡亂匪孫宣雅時，也是因爲糧食運輸困難而失敗，後來他們採用了在山中修築軍堡屯糧的方式，步步爲營向南推進，最終解決了糧食問題，一鼓作氣擊敗了孫宣雅和王薄，卑職認爲這種步步爲營的辦法值得我們效仿，靈武郡最大的困難就是孤懸於北方，中間有大片戈壁荒漠和隴右相隔，如果不解決糧食運輸問題，我們拿不下靈武郡。”
李世民點點頭，他很讚賞屈突通的這種實事求是的態度，不因爲張鉉是敵人就排斥，優點大家都可以互相學習，這時他見段德操欲言又止，便問道：“段將軍想說什麼？”
段德操欠身道：“糧草運輸確實是大問題，卑職考慮，我們能否利用黃河運輸來解決這個難題，卑職觀察過，從金城郡到靈武郡這一段黃河水流平緩，非常有利於水運，而樑師都和突厥軍都以騎兵爲主，水戰是他們的薄弱環節.......”
不等段德操說完，衆人都一致誇讚，這是一個好辦法，他們之前怎麼沒有想到呢？
這時，李世民又擺了擺手，對衆人道：“我的憂心並不是糧食問題，也不是士兵水土不服，更不是突厥騎兵來援，而是我剛剛接到從長安送來的天子旨意，父皇催促我立刻撤軍回長安。”
衆人一怔，異口同聲問道：“這是爲何？”
李世民取出剛剛接到了八百里加急快報，遞給衆人道：“中原局勢驟變，張鉉和王世充聯手共獵瓦崗軍，也就是瓜分中原，父皇不願意唐軍缺席這場瓜分盛宴，所以要求我回兵長安。”
衆人面面相覷，西面之敵還沒有徹底平息，怎麼又開始對中原動心了呢？
長孫無忌急道：“如果我們就此撤軍，恐怕會功虧一簣，樑師都會重新恢復元氣，我們現在雖然遭遇困難，但樑師都困難更大，他的軍隊已不足兩萬，突厥軍遠在河套，遲疑不肯南下，只要我們等到秋天稍涼，一戰可擊敗樑師都，殿下不可撤軍！”
張公瑾也勸道：“雖然現在糧食運輸困難，但我們可以從河西借用胡人的大型羊皮筏子運糧，在黃河中如履平地，金城郡那邊還有十萬石存糧，把糧食運送過來，我們糧食問題立刻解決，至於水土不服，就像長孫長史所言，天涼後暑氣消退，士兵戰力便可漸漸恢復，現在撤軍必然是功虧一簣。”
屈突通也勸道，“自古就有將在外，君命有所不受之說，殿下只有把具體情況給聖上說清楚，相信聖上能理解殿下。”
衆人紛紛勸說，李世民只是苦笑不言，長孫無忌先反應過來，低聲問道：“殿下，難道天子一定要撤軍回去嗎？沒有通融的餘地？”
大帳內一片寂靜，衆人都望着李世民，李世民嘆了口氣對衆人道：“其實我很理解父皇，天子登基尚不到一年，君主威嚴是第一重要，必須一言九鼎，就算明知是錯誤也必須不折不扣實施。
可現在連我這個兒子都搞一個將在外，君命有所不受，父皇會是什麼感受？他或許不會責怪我，但一定會遷怒諸位，這不是我想看到的結果，這是其一。
第二便是中原變局，父皇對東進的渴望大家也知道，連張鉉北征高句麗之時父皇還忍不住要偷襲壺關，更何況現在是瓜分中原之際，他怎麼可能置身事外？”
“可是我們東面就是洛陽，怎麼參與瓜分中原？”段德操疑惑地問道。
旁邊屈突通很瞭解中原的情況，沉聲道：“天子的想法應該走武關進南陽，奪取中原西南部一塊，然後以此爲根基，進軍荊襄，而另一個可能就是趁王世充出兵中原，洛陽空虛之際一舉奪取洛陽。”
李世民點點頭，“應該是兩個可能性都有，所以父皇才讓我立刻回軍，否則以長安現有之軍，奪取南陽各郡也應該夠了。”
“殿下已決定回師長安了嗎？”長孫無忌瞭解李世民，他知道李世民必然是已經有決定了。
李世民長長嘆口氣，“我決定撤軍南歸，以後再打樑師都。”
他隨即又對段德操道：“我會提請父皇封段將軍爲平涼都督，段將軍可率軍兩萬鎮守平涼和弘化兩郡，不給樑師都南下的機會。”
段德操起身行禮，“卑職絕不會讓殿下失望！”
次日，李世民大軍拔營難歸，李世民令屈突通統帥大軍南下，他自己則率五千騎兵先行，一路風馳電掣向長安奔去。(。)