元光五年（公元前130年）正月，汉武帝派遣使者唐蒙联络在今贵州西部的夜郎国，设置犍为郡（在今四川宜宾）。同时派司马相如出使在今四川西昌东南部的邛以及在今四川汉源东南的笮，设置都尉，归蜀郡管辖。
在秦汉时期，广大的西南地区，围绕着巴、蜀两郡的外围，大约在今天的四川西部、南部，贵州、云南以及甘肃边境一带，分布着许多语言、习俗不同的少数民族，统称为西南夷。
夜郎是贵州西部地区几十个部落国家中规模最大的一个国家。夜郎往西，在云南东部滇池一带，分布着几十个有君长的部落，其中滇最大。在滇的北面，今四川西南部一带，在分布其中的几十个部落中，邛都（今四川西昌）最大。夜郎、滇、邛都等部落多属濮族，人民多从事农业耕作，建筑了一定规模的城镇，过着定居生活。
在滇的西面，今云南中部地区（今云南云龙），方圆数千里，多属羌族。人民逐水草而居，过着游牧生活。
早在秦国的时候，中原势力已经发展到西南夷，秦朝曾派军队开通了从宜宾到昭通的“五尺道”，并派遣官吏对附近各部落进行统治。汉朝初年，中央政权放弃了对西南地区的统治，但西南各部落仍然同中原地区保持着一定的经济文化联系。汉人从西南夷购买马匹、牛和奴隶，巴蜀的铁器和其他商品也进入到西南夷中，有的还将商品经由夜郎国境内的牂柯江（今北盘江）转贩到南越地区。
建元六年（公元前135年）秋，王恢平定东越动乱之后，派番阳县令唐蒙去向南越王说明进军意图。南越人让唐蒙吃蜀地所产的枸酱，唐蒙问是从什么地方来的。南越人说：“是从西北方向的牂柯江运来的。牂柯江宽几里，从番禺城近旁流过。”唐蒙回到长安，又询问蜀地的商人。商人说：“只有蜀地出产枸酱，许多人私自带着它出境去卖给夜郎。夜郎靠近牂柯江，牂柯江宽一百多步，行船没有问题。南越国利用金钱和价值较高的物品吸引夜郎，达到支配它的目的。南越国在这一地区的影响一直扩展到桐师人住的地区。但是，南越国最终也无法征服这一地区。”
汉武帝元光五年（公元前130年）正月，唐蒙向武帝上书说：“南越王使用只有皇帝才能用的宫殿、礼仪，占据着东西长达万余里的地盘，名义上是朝廷的外臣，实际上是一国之君。现在如果从长沙国、豫章郡出兵征讨南越，水路大多断绝，难以通行。我听说夜郎的军队总计有十几万人，假如我军乘船顺牂柯江而下，出其不意地发起攻击，一定能够打败南越。这是制服南越的一条奇计。只要利用汉朝的强威，再加上巴、蜀两地富裕的经济力量，那么，打通夜郎的道路，在那儿设置官吏实行统治，是很容易做到的。”武帝批准了唐蒙的建议。
于是，武帝任命唐蒙为中郎将，率领士兵一千人和运输粮食衣物的民夫一万多人，经过巴蜀两郡及笮关进入夜郎境内，见到夜郎侯多同，并告知汉朝的严威圣德，约定由朝廷在当地任命官吏，并让多同的儿子担任县令。夜郎附近小城邑的人都喜欢汉朝的绫罗绸缎，他们认为中原离当地路途遥远，道路艰险，汉朝不可能征服这片地区。于是就暂时表示服从唐蒙的约定。唐蒙返京奏报，武帝就在这一地区设犍为郡，征发巴、蜀两郡的士卒修筑道路，从僰道指向牂柯江，修路的人有几万人，唐蒙等人用“军兴法”诛杀逃亡士卒的头目，巴、蜀百姓极度惊恐，父老忧患。武帝得知此事，又派司马相如为郎中将，前去责备唐蒙，让百姓知道皇帝的恩德，以安定人心。
司马相如到了巴蜀以后，对当地的百姓说：“皇上派中郎将唐蒙出使西南夷，是为了让边境地区的人民臣服于中央政权，施德政使当地百姓过上安定的生活。但是中郎将唐蒙启用‘军兴法’，使百姓惊恐不安，父老忧患；他又命令沿途郡县转运粮食，扰乱百姓，这一切都违背了皇上的旨意。”然后，司马相如回到京城向汉武帝汇报处置情况。
当时，巴、蜀等四郡正在凿山劈石，修筑连接西南夷的通道，以便把中原地区的粮饷运进来。过了几年，道路仍没有开通，修路的士兵疲惫饥饿、遭受炎热潮湿折磨而死的人很多。西南夷少数民族多次聚众反叛，汉朝集结军队远赴千里征伐，军费开支以万万计，却没有收到平叛的效果。元光五年（公元前130年）夏，武帝对此很是担忧，下诏派公孙弘前去视察情况。公孙弘返京奏报情况，极力诋毁开通西南夷的作用，武帝没听从他的意见。
这时，邛人和笮人的部落酋长听说南夷与汉朝结交，得到很多赏赐，于是，他们也自愿归顺汉朝，成了汉统治下的臣民，他们请求朝廷按照统治南夷的模式，在部落任命官吏进行统辖。武帝询问司马相如，相如说：“邛、笮、冉駹都靠近蜀郡，道路也容易开通。秦朝时曾经开通，设置过郡县，到汉朝建国才废掉。现在如果真能再次开通，在那里设置郡县，将胜过南夷地区。”汉武帝认为他说得对，就任命司马相如为中郎将，持皇帝的符节出使西夷。相如和副使王然于等人乘坐驿车，利用巴蜀两郡的官府财物贿赂西夷；邛、笮、冉駹、斯榆各部族的酋长，都请求做汉朝直接统治下的臣民。司马相如和众部落酋长达成协议，废除了原来阻碍中原地区和西南相通的边关。新设立的边关向外扩展，西部到达沫水、若水，南至牂柯江为界，开通了零关道，在孙水上架桥接连邛都，在这一地区设立了一个都尉、十多个县，隶属于蜀郡。武帝很高兴，继续开通西南夷。元朔三年（公元前126年）冬，正当北筑朔方，东置沧海时，蜀地长辈及有权威的人又广泛传播联系西南夷有害无益的言论，建议罢除通西南夷。朝廷中也是反对声不绝，御史大夫公孙弘等认为，西南夷与朔方、沧海都是无用之地，白白使中原地区耗费财物，百姓困扰忧患，应该停止同西南夷的来往。汉武帝命幸臣朱买臣同公孙弘辩论，朱买臣极力陈辩朔方给朝廷带来的好处，连发对策十章，而公孙弘难以反驳。公孙弘退而主张罢沧海郡，停止通西南夷事务，以便专力对付匈奴。于是，春罢沧海鄙，秋罢西夷事务，仅置南夷、夜郎一都尉，令犍为郡筑城自保。
同年夏，张骞出使西域从大月氏归来。他向汉武帝报告说：“在大夏时，曾见到邛山出产的竹杖和蜀地的布，因问他们：‘这些东西是从哪里得来的？’大夏人说：‘是我国商人去身毒（古印度）买来的。’身毒国在大夏东南约几千里之外，习俗是定居，与大夏一样。据我估计，既然大夏在我国西南一万二千里外的地方，而身毒国又在大夏东南几千里之外，也使用来自蜀地的用具，说明身毒离蜀地不太远。如果现在我国派出使臣出使大夏，若取道羌人地区，道路险恶，羌人又厌恶中原地区，恐怕对使者不利；若从稍北一些的地方走，便会落入匈奴人手中；而通过蜀地，应当是一条捷径，而且没有强盗匪贼从中作梗。”武帝大喜，命王然于、柏始昌、吕越人等分别从冉駹、笮、徙、邛，僰等数道并出，寻找通往身毒国的道路。
王然于等使者在滇一带活动了四年，滇王也帮助汉使寻求通往身毒国的道路。使者分两路出发，各向南北开辟道路，然而，北方受到笮阻拦，南方受到昆明、雟的阻拦，道路终未找到。特别是昆明一带，各少数民族部落还停留在原始阶段，以抢劫为谋生手段，往往在路边埋伏，杀害汉朝使者并抢劫财物，因此新的道路还是没有开通出来。