大軍集結完畢，劉秀親自修書隗囂，再次命隗囂對伐蜀一事表態。
大兵雖已壓境，隗囂仍繼續推諉，回書劉秀道：“白水險阻，棧閣敗絕。”
要想從陸路攻打蜀國，只有兩條路可以選擇。
一是從關中西行，取道天水，從而繞過秦嶺，南行涉過白水，直逼武都。這條路儘管繞遠，然而道路平坦，運輸便捷，適合大軍穩步推進。
二是走棧閣（即棧道），或從褒斜谷，或從子午谷，直接穿越秦嶺，進入漢中。這條路儘管屬於捷徑，然而穿山越谷，沿棧道而行，路途極其艱險，只適合奇兵突襲，而不便大軍運動。
隗囂的回書雖然只有八個字，但卻把這兩條路全給堵死，走天水大路吧，有白水險阻；走穿山小道吧，棧閣又年久失修。兩條路都行不得也，要不，您老人家飛着去？
劉秀強忍怒火，命來歙出使隗囂，再作最後之爭取。
來歙面見隗囂，以老友的身份，苦勸隗囂出兵擊蜀。隗囂抓耳撓腮，長吁短嘆，一味背詩：“噫籲嚱，危乎高哉！蜀道之難，難於上青天！……其險也如此，嗟爾遠道之人，胡爲乎來哉？”
來歙費盡口舌，隗囂只是不肯，來歙無奈之下，退而求其次，道：“皇帝御駕親征，大軍雲集，絕無空手而返之理，總之，蜀國非伐不可。隗兄如果覺得出兵實在爲難，我也不便強求，只向隗兄借道天水，使大軍得以通過即可。”
隗囂心想，借道應該問題不大，就讓劉秀遠道伐蜀，和公孫述拼個兩敗俱傷，他則在一旁坐收漁翁之利。然而終究不放心，於是召集衆武將商議。
王元一聽，厲聲道：“來歙所言，包藏禍心，大王萬萬不可聽信！”
隗囂大驚，問道：“何以言此？”
王元道：“此乃假途滅虢之計，劉秀借道是假，趁機吞併隴西、天水是真。”
隗囂一身冷汗，道：“幸得王將軍提醒。”回見來歙，推辭抵賴，道，“天水連日山洪，道路不通，要不，等我把路修好了，再迎接朝廷大軍不遲。”
來歙見隗囂當面扯謊，勃然大怒，拍案而起，指着隗囂的鼻子大罵：“叫你出兵不肯，問你借道又不肯，那你是要反叛了！別忘了，你兒子還在洛陽！別忘了，朝廷百戰雄師，遠非你能抵擋！”
隗囂就納悶了，這明明是在他的地盤，來歙怎敢如此囂張？隗囂不放心，拽住一旁陪酒的侍女，問道：“這是我的地盤嗎？”
侍女甜甜一笑，道：“是的，大王。”
隗囂這才篤定起來，身子往後一仰，笑望來歙，道：“講，接着講。”
來歙更怒，憤而拔劍，砍向隗囂。隗囂雖然跛足，反應卻是奇快，抽身而退。來歙一劍斬空，只切下隗囂的衣袖。隗囂碎步急邁，只聽嗖嗖幾聲，已是人影全無。
來歙一擊不中，知道不會再有第二次機會，徐徐收劍入鞘，並不再追。
隗囂去而復返，隨身跟着數十護衛。隗囂猶自驚魂未定，指着來歙，道：“你我多年好友，如今你竟要殺我？”
來歙身陷衆圍，毫不驚慌，答道：“若非念及朋友之情，我才懶得殺你。”
隗囂冷笑道：“如此說來，你殺我，居然還是爲了我好？”
來歙怒道：“那是當然！你枉爲長安三傑，卻竟如此不曉事！身爲多年好友，我豈能坐視你起兵反叛，然後身敗名裂，被皇帝誅滅九族？我只殺你一人，殺完我陪你同死，如此便可以替你保全隗氏家族，朋友之道，豈不在此乎！”
隗囂也惱怒起來，冷笑道：“好，你既以朋友自居，那又爲何揹着我交結鄭興、申屠剛、杜林等人？鄭興等人叛我而去，你敢說和你全無關係？離我黨，剪我翼，你這也是朋友之道？”
來歙怒道：“你意欲割據，不惜抗命朝廷，引火燒身。君子不立危牆之下，鄭興等人離你而去，不亦宜乎？何得誣我？來某生平行事，無一件不可告人！”
來歙慷慨而言，有凜然不可奪之威。隗囂爲之氣沮，一時竟不能言語。
來歙拿起節杖，旁若無人地慢慢走向門口。隗囂望着來歙，手按劍柄，握了又握，還是沒能下手。
直到來歙出門上了馬車，緩馳而去，隗囂這才如夢方醒：咦，好你個來歙，把我這當什麼地方了？
隗囂盛怒之下，調集重兵，將來歙圍困於驛館。王元趁機勸殺，隗囂意動，王遵見狀大急，連呼不可。
隗囂怒問道：“爲何不可？”
王遵道：“自古列國交兵，不殺來使。來歙乃皇帝之表兄，更非尋常使節可比。殺來歙很容易，然而殺了於朝廷無損，大王卻因此身背滅族重罪。更何況，來歙的性命雖然操於大王手中，而大王長子隗恂的性命，卻同樣也操於朝廷手中。昔日宋執楚使，遂有析骸易子之禍。小國猶不可辱，況於萬乘之主！”
來歙出使隴西多年，言行不違，信義昭著，甚得當地士大夫敬重。聞聽來歙被圍，一時求情者衆多。
隗囂怒氣漸平，顧及名士之風，念及朋友之義，於是解圍而去。來歙心知多留無益，也不和隗囂辭別，單車東歸長安而去。
隗囂心知，來歙一走，大兵將至，於是廣募士卒，勒兵備戰，命王元據守隴山南部險要，砍伐巨木，堵塞關隴大道，擺出一副捂臉等揍的防守姿態。
來歙迴歸長安，具報劉秀。劉秀召諸將而議，隗囂反意已明，打還是不打？
奇怪的是，向來好戰的諸將，卻頗有些泄氣的意思，全都主張武鬥不如文鬥，且讓隗囂多逍遙幾天，先對隗囂手下將帥加官晉爵，以分化其內部，等隗囂內亂之後，再行進兵不遲。
更奇怪的是，劉秀居然對這一觀點也深表認同，幾乎便要放棄對隗囂的進攻。
諸將和劉秀的畏戰心理，其實很容易理解。
隗囂雖然只控制着隴西、天水二郡，國土面積不到劉秀的二十分之一，但卻敢一再和劉秀唱反調，他憑什麼？
地利，絕對的地利！
史冊描述去往隴西，不說“到”隴，也不說“至”隴，而曰“上”隴。一個“上”字，足以說明問題。
隴西、天水二郡，全境皆爲隴山（即今六盤山）山區，居高臨下，俯瞰關中。
關中爲平原地勢，平均海拔在四百米左右。而隴西、天水所在的隴山，平均海拔則接近兩千米。兩地落差高達一千六百多米，如果要討伐隗囂，一路都是仰攻，死傷必然慘重。
劉秀的漢軍雖然堪稱百戰精兵，但此前都是在平原地區作戰，山戰經驗嚴重不足。而在山林溝壑之間，劉秀恃以稱霸天下的騎兵部隊，幾無用武之地，也等於自廢了八成武功。
而隗囂的部隊，則慣於山林作戰，地形熟悉，穿行無阻。想當初，強大的赤眉軍所向無敵，滿中國流竄，覺得誰都好欺負，然而一到隴西，便被隗囂輕易地殺得人仰馬翻，折損過半，灰溜溜地逃回關中。
諸將皆身經百戰，當然明白山戰之艱難，加上又有赤眉軍的前車之鑑，畏戰實在情理之中。
只有徵虜大將軍祭遵堅持晚打不如早打，慷慨言道：“隗囂挾奸久矣。今若按甲待時，則使其詐謀益深，而蜀警增備，固不如遂進。”
劉秀壯其語，況且大軍集結不易，不弄出些動靜來，確實交代不過去，既已來之，何妨戰之，於是遣祭遵爲先鋒，諸將隨後跟進，搶奪關隴大道。
關隴大道（即絲綢古道南線），顧名思義，是關中到隴西的咽喉要道，也是唯一一條可以讓大軍順利通行的道路，可謂必爭之地。
祭遵與隗囂守將王元大戰，王元大敗。祭遵乘勝而進，諸將大喜，也皆登山而追。深入羣山之間，隗囂伏兵四起，諸將翻山越嶺，已是筋疲力盡，立時潰敗，倉皇后撤。隗囂緊追不捨，眼看漢軍竟有被一舉全殲之勢。
危急之時，捕虜將軍馬武選精騎數百，披甲持戟，逆襲追兵，殺數千人，隗囂這才依依不捨地退兵，諸將得以平安撤回。
強攻未遂，劉秀不得不改變戰略，改爲長久之計，命吳漢屯長安，耿弇軍漆縣，馮異軍栒邑，祭遵軍汧縣。
隗囂趁大勝之威，遣行巡、王元下隴，****漢軍。行巡攻栒邑，大敗於馮異。王元攻汧縣，也爲祭遵所破。
經此一役，隗囂也得到了教訓，他的部隊只能窩裡橫，一離開隴山山區，便遠不是漢軍對手。但是再一想，好歹他也大勝了漢軍，證明了自己確有資格和劉秀討價還價，於是上書劉秀，試圖重新議和。
隗囂之書寫得很是狡猾，大意略雲：朝廷大軍突然來到隴西，我手下這些將領大爲驚恐，不得已自救，因此斗膽與朝廷大軍交戰，我根本制止不了。將領們僥倖大勝，試圖追擊，進一步擴大戰果，是我親自把他們追了回來。我是臣子，怎敢和陛下對抗呢？當年大舜侍奉他父親，大杖則走，小杖則受。我雖然愚笨，也懂得這樣的禮數。現在我的命運，都在陛下的手上。陛下賜我死，那我便死。陛下要刑罰我，那我便受刑。如果陛下寬宏大量，赦我之罪，且從此另眼相待，則我死骨不朽，再無他求。
諸將讀罷隗囂之書，無不大怒，書中毫無悔改之心，而且言辭輕佻，大有調戲朝廷之意，於是齊勸劉秀，對付隗囂這種反覆之人，必須來點狠的，乾脆殺了他兒子隗恂，以好讓隗囂長點記性。