大军集结完毕，刘秀亲自修书隗嚣，再次命隗嚣对伐蜀一事表态。
大兵虽已压境，隗嚣仍继续推诿，回书刘秀道：“白水险阻，栈阁败绝。”
要想从陆路攻打蜀国，只有两条路可以选择。
一是从关中西行，取道天水，从而绕过秦岭，南行涉过白水，直逼武都。这条路尽管绕远，然而道路平坦，运输便捷，适合大军稳步推进。
二是走栈阁（即栈道），或从褒斜谷，或从子午谷，直接穿越秦岭，进入汉中。这条路尽管属于捷径，然而穿山越谷，沿栈道而行，路途极其艰险，只适合奇兵突袭，而不便大军运动。
隗嚣的回书虽然只有八个字，但却把这两条路全给堵死，走天水大路吧，有白水险阻；走穿山小道吧，栈阁又年久失修。两条路都行不得也，要不，您老人家飞着去？
刘秀强忍怒火，命来歙出使隗嚣，再作最后之争取。
来歙面见隗嚣，以老友的身份，苦劝隗嚣出兵击蜀。隗嚣抓耳挠腮，长吁短叹，一味背诗：“噫吁嚱，危乎高哉！蜀道之难，难于上青天！……其险也如此，嗟尔远道之人，胡为乎来哉？”
来歙费尽口舌，隗嚣只是不肯，来歙无奈之下，退而求其次，道：“皇帝御驾亲征，大军云集，绝无空手而返之理，总之，蜀国非伐不可。隗兄如果觉得出兵实在为难，我也不便强求，只向隗兄借道天水，使大军得以通过即可。”
隗嚣心想，借道应该问题不大，就让刘秀远道伐蜀，和公孙述拼个两败俱伤，他则在一旁坐收渔翁之利。然而终究不放心，于是召集众武将商议。
王元一听，厉声道：“来歙所言，包藏祸心，大王万万不可听信！”
隗嚣大惊，问道：“何以言此？”
王元道：“此乃假途灭虢之计，刘秀借道是假，趁机吞并陇西、天水是真。”
隗嚣一身冷汗，道：“幸得王将军提醒。”回见来歙，推辞抵赖，道，“天水连日山洪，道路不通，要不，等我把路修好了，再迎接朝廷大军不迟。”
来歙见隗嚣当面扯谎，勃然大怒，拍案而起，指着隗嚣的鼻子大骂：“叫你出兵不肯，问你借道又不肯，那你是要反叛了！别忘了，你儿子还在洛阳！别忘了，朝廷百战雄师，远非你能抵挡！”
隗嚣就纳闷了，这明明是在他的地盘，来歙怎敢如此嚣张？隗嚣不放心，拽住一旁陪酒的侍女，问道：“这是我的地盘吗？”
侍女甜甜一笑，道：“是的，大王。”
隗嚣这才笃定起来，身子往后一仰，笑望来歙，道：“讲，接着讲。”
来歙更怒，愤而拔剑，砍向隗嚣。隗嚣虽然跛足，反应却是奇快，抽身而退。来歙一剑斩空，只切下隗嚣的衣袖。隗嚣碎步急迈，只听嗖嗖几声，已是人影全无。
来歙一击不中，知道不会再有第二次机会，徐徐收剑入鞘，并不再追。
隗嚣去而复返，随身跟着数十护卫。隗嚣犹自惊魂未定，指着来歙，道：“你我多年好友，如今你竟要杀我？”
来歙身陷众围，毫不惊慌，答道：“若非念及朋友之情，我才懒得杀你。”
隗嚣冷笑道：“如此说来，你杀我，居然还是为了我好？”
来歙怒道：“那是当然！你枉为长安三杰，却竟如此不晓事！身为多年好友，我岂能坐视你起兵反叛，然后身败名裂，被皇帝诛灭九族？我只杀你一人，杀完我陪你同死，如此便可以替你保全隗氏家族，朋友之道，岂不在此乎！”
隗嚣也恼怒起来，冷笑道：“好，你既以朋友自居，那又为何背着我交结郑兴、申屠刚、杜林等人？郑兴等人叛我而去，你敢说和你全无关系？离我党，剪我翼，你这也是朋友之道？”
来歙怒道：“你意欲割据，不惜抗命朝廷，引火烧身。君子不立危墙之下，郑兴等人离你而去，不亦宜乎？何得诬我？来某生平行事，无一件不可告人！”
来歙慷慨而言，有凛然不可夺之威。隗嚣为之气沮，一时竟不能言语。
来歙拿起节杖，旁若无人地慢慢走向门口。隗嚣望着来歙，手按剑柄，握了又握，还是没能下手。
直到来歙出门上了马车，缓驰而去，隗嚣这才如梦方醒：咦，好你个来歙，把我这当什么地方了？
隗嚣盛怒之下，调集重兵，将来歙围困于驿馆。王元趁机劝杀，隗嚣意动，王遵见状大急，连呼不可。
隗嚣怒问道：“为何不可？”
王遵道：“自古列国交兵，不杀来使。来歙乃皇帝之表兄，更非寻常使节可比。杀来歙很容易，然而杀了于朝廷无损，大王却因此身背灭族重罪。更何况，来歙的性命虽然操于大王手中，而大王长子隗恂的性命，却同样也操于朝廷手中。昔日宋执楚使，遂有析骸易子之祸。小国犹不可辱，况于万乘之主！”
来歙出使陇西多年，言行不违，信义昭著，甚得当地士大夫敬重。闻听来歙被围，一时求情者众多。
隗嚣怒气渐平，顾及名士之风，念及朋友之义，于是解围而去。来歙心知多留无益，也不和隗嚣辞别，单车东归长安而去。
隗嚣心知，来歙一走，大兵将至，于是广募士卒，勒兵备战，命王元据守陇山南部险要，砍伐巨木，堵塞关陇大道，摆出一副捂脸等揍的防守姿态。
来歙回归长安，具报刘秀。刘秀召诸将而议，隗嚣反意已明，打还是不打？
奇怪的是，向来好战的诸将，却颇有些泄气的意思，全都主张武斗不如文斗，且让隗嚣多逍遥几天，先对隗嚣手下将帅加官晋爵，以分化其内部，等隗嚣内乱之后，再行进兵不迟。
更奇怪的是，刘秀居然对这一观点也深表认同，几乎便要放弃对隗嚣的进攻。
诸将和刘秀的畏战心理，其实很容易理解。
隗嚣虽然只控制着陇西、天水二郡，国土面积不到刘秀的二十分之一，但却敢一再和刘秀唱反调，他凭什么？
地利，绝对的地利！
史册描述去往陇西，不说“到”陇，也不说“至”陇，而曰“上”陇。一个“上”字，足以说明问题。
陇西、天水二郡，全境皆为陇山（即今六盘山）山区，居高临下，俯瞰关中。
关中为平原地势，平均海拔在四百米左右。而陇西、天水所在的陇山，平均海拔则接近两千米。两地落差高达一千六百多米，如果要讨伐隗嚣，一路都是仰攻，死伤必然惨重。
刘秀的汉军虽然堪称百战精兵，但此前都是在平原地区作战，山战经验严重不足。而在山林沟壑之间，刘秀恃以称霸天下的骑兵部队，几无用武之地，也等于自废了八成武功。
而隗嚣的部队，则惯于山林作战，地形熟悉，穿行无阻。想当初，强大的赤眉军所向无敌，满中国流窜，觉得谁都好欺负，然而一到陇西，便被隗嚣轻易地杀得人仰马翻，折损过半，灰溜溜地逃回关中。
诸将皆身经百战，当然明白山战之艰难，加上又有赤眉军的前车之鉴，畏战实在情理之中。
只有征虏大将军祭遵坚持晚打不如早打，慷慨言道：“隗嚣挟奸久矣。今若按甲待时，则使其诈谋益深，而蜀警增备，固不如遂进。”
刘秀壮其语，况且大军集结不易，不弄出些动静来，确实交代不过去，既已来之，何妨战之，于是遣祭遵为先锋，诸将随后跟进，抢夺关陇大道。
关陇大道（即丝绸古道南线），顾名思义，是关中到陇西的咽喉要道，也是唯一一条可以让大军顺利通行的道路，可谓必争之地。
祭遵与隗嚣守将王元大战，王元大败。祭遵乘胜而进，诸将大喜，也皆登山而追。深入群山之间，隗嚣伏兵四起，诸将翻山越岭，已是筋疲力尽，立时溃败，仓皇后撤。隗嚣紧追不舍，眼看汉军竟有被一举全歼之势。
危急之时，捕虏将军马武选精骑数百，披甲持戟，逆袭追兵，杀数千人，隗嚣这才依依不舍地退兵，诸将得以平安撤回。
强攻未遂，刘秀不得不改变战略，改为长久之计，命吴汉屯长安，耿弇军漆县，冯异军栒邑，祭遵军汧县。
隗嚣趁大胜之威，遣行巡、王元下陇，反攻汉军。行巡攻栒邑，大败于冯异。王元攻汧县，也为祭遵所破。
经此一役，隗嚣也得到了教训，他的部队只能窝里横，一离开陇山山区，便远不是汉军对手。但是再一想，好歹他也大胜了汉军，证明了自己确有资格和刘秀讨价还价，于是上书刘秀，试图重新议和。
隗嚣之书写得很是狡猾，大意略云：朝廷大军突然来到陇西，我手下这些将领大为惊恐，不得已自救，因此斗胆与朝廷大军交战，我根本制止不了。将领们侥幸大胜，试图追击，进一步扩大战果，是我亲自把他们追了回来。我是臣子，怎敢和陛下对抗呢？当年大舜侍奉他父亲，大杖则走，小杖则受。我虽然愚笨，也懂得这样的礼数。现在我的命运，都在陛下的手上。陛下赐我死，那我便死。陛下要刑罚我，那我便受刑。如果陛下宽宏大量，赦我之罪，且从此另眼相待，则我死骨不朽，再无他求。
诸将读罢隗嚣之书，无不大怒，书中毫无悔改之心，而且言辞轻佻，大有调戏朝廷之意，于是齐劝刘秀，对付隗嚣这种反复之人，必须来点狠的，干脆杀了他儿子隗恂，以好让隗嚣长点记性。