大業十年七月。
由於天下大亂，楊廣下令所徵的天下兵多預期不至，同時由於他親自率領的兵也是逃亡不止，所有楊廣的車駕四月二十七日到了北平郡後，便一直停滯不前，沒能繼續往遼東進發。
直到了七月十日，楊廣才率兵勉強行進到懷遠鎮，但這時，士卒說什麼都不肯繼續前行了，楊廣由是陷入困頓之中。
就在楊廣進進不得，退退不得的時候，喜訊忽然傳來，高麗王高元竟派人請降了！
原來這時的高麗，也已是十分的困弊了，雖然前兩次戰爭，高麗都是贏家，但高麗國小，哪裡能經得起這接二連三的舉國大戰？
高麗國也是農耕國家，幾年大戰下來，田地荒蕪，四處都在鬧饑荒，使得國內也像隋朝一樣爆發了好幾起農民起義，所以高麗國也是沒能力再將戰爭打下去了。
再加上來護兒自東萊郡率水軍東進，又一次攻破了沙卑城，殺敵數千，然後率領大軍直驅平壤。
高元於是震懼萬分，於七月二十八日遣使者押送大隋叛臣斛斯政，前去懷遠鎮上表乞降，困窘無比的楊廣頓時大喜，接受高麗的投降，然後遣使持節去召來護兒還師東萊。
來護兒召集部下道：“大軍三次出征，未能平定高麗，這次回去就再也不能來了，勞而無功，我感到恥辱。如今高麗確實已經疲憊不堪，以我們這麼多的軍隊去討伐高麗，不日便可大勝。我打算抗詔進兵直接包圍平壤，俘獲高元，然後才凱旋而歸，衆位以爲如何？”
長史崔君肅力爭奉旨班師，來護兒不答應，道：“高麗已經支持不住了，皇帝完全相信任用我，我完全可以自行決定此事。我在朝廷之外，有事應該自己決斷，我寧可俘獲高元返回而受到責罰，但放棄這次成功的機會，我辦不到！”
崔君肅見此沒再說什麼，但私下裡卻向其將官道：“要是跟從元帥違抗皇帝的詔命，必定被人上奏皇帝，元帥歷受皇恩，到時可能會被免責，但我們定然都得獲罪。”
諸將聽後，大爲恐懼，全都要求返回，來護兒心中一陣悲涼，心中想到，他的大對頭周法尚要是此時在軍中就好了，周法尚近兩年一直率部在沿海剿殺叛軍，他以前雖然經常與他唱反調，但在大是大非上沒有含糊過，定然會支持他的決定的。
只要有一個人支持他來護兒，他定然能將這命抗到底，但此時……
來護兒大笑幾聲，最終唯有接受了詔命，班師而回。
八月初四，楊廣從懷遠鎮班師回朝。邯鄲賊帥楊公卿率領部衆八千人搶劫車駕後面的第八隊，搶走了飛黃上廄的馬四十二匹，然後揚長而去，天下盜賊之猖獗，由此可見一班。
要是換了以往，靠着運河之便利，從涿郡返回洛陽費時不會超過一個月。然而此時，因歸途多有叛軍，且這些叛軍又都不像以前那樣懼怕楊廣了，多有在一個御駕附近耀武揚威的，所以楊廣這次歸途每天前行的速度都不快，只怕不到冬季之時是回不到洛陽的了。
……
恆山郡共有八縣，除郡治真定城，多被叛軍攻破過，現在的叛軍，大都攻破城池後劫掠一番便離開，所以恆山郡除真定城以外的地方，在今年五月份以前，基本屬於無主狀態，只盤踞着一些小賊。
但在五月份以後，李隱擊退張金稱、控制井陘關，便開始派人來接管了真定城以北的井陘縣、房山縣、靈壽縣、行唐縣和滋陽縣。
這五個縣既沒官兵，又沒較大勢力的叛軍，所以接管的工作進行的十分順利，基本沒遇到什麼阻礙。
爲了避免不必要的麻煩，李隱並不是以他的名義接管恆山五縣的，在將恆山五縣的賊寇掃清後，他讓張亮重新落草爲寇，帶着一班郡吏，領着上萬流民，浩浩蕩蕩的進入了各縣城之中，他們自稱恆山盜，與李隱沒有什麼關係。
一開始進入恆山五縣的流民只有萬餘，不過後面還會陸陸續續的將人送來，與本地存留的人一起按府兵制進行統一收編安置，五戶爲保，設保長，百戶爲裡，設里長，五里爲鄉，設鄉長。
平均每保徵兩丁，在閒時進行軍事訓練，即可保衛鄉里，又可成爲優質兵源。
安置流民，瑣事繁多，所以李隱最近這幾個月來，一直都是忙得不可開交，其中最要緊的事情，還是糧食。
不過由於太原郡的郡丞王威、虎賁將軍潘長文都有意拉攏李隱，李隱並沒有一口氣將他們拒絕，與之虛與委蛇，索要了大量的錢糧，這才勉強渡過難關。
將恆山五縣的事情暫時處理妥當後，李隱便將這裡的擔子交給了張亮，自己則帶了百餘騎，從恆山郡一直北上，來到了上谷郡的飛狐縣。
上谷郡自古出精銳騎兵，當年漢光武帝劉秀渡過黃河北上，便是在得到了上谷、漁陽兩郡的支持後，這才憑藉兩郡騎兵，橫掃河北，建立不世之基業的。
李隱此來上谷，不爲錢，不爲糧，只爲招些這上谷郡的騎兵。
上谷郡的耕地不算多，這裡的百姓多是半耕半牧，所以許多人自小便是在馬背上長大的。不過自從大業七年以來，這裡的居民也是日益困頓，幸而此處民風彪悍，百姓結塢自保，使得各處叛軍也不太敢來這裡，所以相對河北的其他郡縣來說，算是比較安穩的一個地方。
李隱在五月份初到恆山各郡的時候，許多地方都是百里無人煙，村莊成鬼域，進入上谷郡後，道上百姓雖然依舊大都面有飢色，但總算是能見着人，這已經是很難得的事情了。
李隱有糧有錢，要在此招得適合的騎兵不是什麼難事，況且飛狐縣與雁門郡的靈丘縣只隔了條飛狐陘，此地的人大都知道李隱的大名，所以他將招人的牌子在此一立起來後，從者雲集，一日不到的時間，便招得騎兵八百，這還是經過李隱精挑細選後的結果。