刘秀在镇压西羌叛乱的同时，也在镇压安抚着南边的少数民族，这其中主要包括蛮族、岭南各族以及哀牢人。蛮族以盘瓠、廪君和板楯三者最大。
盘瓠蛮因以神犬盘瓠为图腾而得名。秦汉时，居住在武陵郡（今湘西、黔东及鄂西南边缘地区）、长沙郡（今湘中、湘南地区），故又称“武陵蛮”或“长沙蛮”；其地有雄、、辰、酉、武五溪，故又有“五溪蛮”之称。盘瓠蛮在秦汉时部落分散，各有首领，汉王朝授予邑君、邑长称号，颁赐印绶。蛮语称首领日精夫，族人相呼日姎徒。多居山壑，从事粗放农业。能织木皮为布，以草实为染料。衣服五色斑斓，赤髀横裙，以枲束发。汉王朝对他们收取“賨布”（作为赋税交纳的布）之赋，大人每岁征布一匹，小口半匹。
东汉初年，武陵蛮势力渐强。建武二十三年（公元47年），他们公然反叛东汉朝廷。刘秀派刘尚等前去镇压，结果大败。刘秀又遣李嵩、马成攻之，亦不克。在这种情况下，刘秀派时已62岁的老将马援统领大军前去征伐武陵蛮，结果汉军还是无法取胜，马援也病死军中。但是，这时武陵蛮也难以再支撑下去了，其首领单程等人，只好向汉军请降。刘秀接受了他们的请降。在同武陵蛮的作战中，汉军损失重大。为了防止武陵蛮的重新反抗，刘秀加强了对武陵蛮分布的管理。这样，终刘秀一朝，武陵蛮再也没有发生过叛乱。
廪君蛮为南蛮的一支，有5个氏族，其中巴氏首领务相，被推为5个氏族的共主，号为廪君，后遂以廪君为族名。相传廪君死后，魂魄化为白虎，族人遂有崇拜白虎和以人祭虎的习俗。他们早期活动在夷水（今鄂西南清江）流域，后逐步发展到巴中、黔中一带（在当今川东南、黔东北、鄂西、湘西地区），地理上临近汉的南郡、巴郡，故又被称为“巴郡南郡蛮”。秦灭巴蜀，巴氏仍世为廪君族君长，并娶秦女为妻，岁出赋钱两千零十六钱，三岁一出义赋千八百钱；民户出幏布八丈二尺，鸡羽三十缑。汉时仍依秦制。东汉时，由于官府“收税不均”，廪君蛮曾多次起义反抗，部分族人被强制迁往江夏郡（今鄂东地区）。
板楣蛮分布在巴郡阆中（今四川阆中）一带，沿渝水居住，喜好歌舞，英勇善战。他们从事农业，长于狩猎。相传秦昭王时，白虎为害，板楯人应募射杀白虎有功，秦官府与板楯人盟誓说：“顷田不租，十妻不算，伤人者论，杀人者得以倓钱赎死。”楚汉之际，板楣蛮从汉高祖还定三秦有功，免除部落首领罗、朴、督（昝）、鄂、度、夕、龚七姓不纳租赋，余户岁纳“賨钱”（作为赋税交纳的钱）四十。因此，又有“白虎夷”、“白虎复夷”或“賨人”之称。由于板楯蛮善战，东汉王朝经常征调他们从军，屡立战功。当时西羌数寇汉中，都靠板楣军击败之，号为“神兵”。但官府对他们“更赋至重，仆役棰楚，过于奴虏”。板楯人“愁于赋役，困于酷刑”，也多次邑落相聚，奋起反抗。
秦汉时期，交趾郡（今越南北部平原）、九真郡（今越南清化、义安东部平原）、日南郡（今越南广平、顺化、广治、承天四省）仍处在氏族社会末期和奴隶社会初期。汉虽在其地设立郡县，但基本上依俗而治。郡守、县令的统治很松，基层政权仍掌握在雒王、雒将、雒侯手里，故称其民为雒越。
东汉初年，锡光、任延分别任交趾、九真太守，教其民耕稼，制衣冠履，设媒娉，立学校，二郡之民进入文明社会。建武十三年（公元37年），苏定出任交趾太守。麓冷县（今越南水富省安朗县夏雷乡）雒将女儿征侧、征贰姊妹不从法规，苏定以汉法绳之。征侧怒，遂于十六年二月，举兵攻苏定。九真、日南、合浦（郡治合浦，今广西合浦东北）等地的越人也起兵响应。各郡守纷纷内避，岭南60余城尽被占领。征侧自立为王，派兵分驻险要，企图称雄岭南。十七年十二月，光武帝刘秀诏令长沙、合浦、交趾制造车船，修建道路桥梁，开通山谷险道，储备粮草，操练水军，集结队伍。同时加封马援为伏波将军，命其督率扶乐侯刘隆、楼船将军段志征发长沙（郡治临湘，今湖南长沙）、桂阳（郡治郴县，今湖南郴州）、零陵（郡治泉陵，今湖南永州）、苍梧（郡治广信，今广西梧州）兵2万人，大小船只2000艘南下征讨征侧、征贰。各路至合浦，水陆两路均缘海而进，中间随山开道千余里。十八年春，抵交趾浪泊（今越南东京州封溪县红河与苏厉江间）。汉军首战告捷，斩首数千级，收降万余人。马援乘胜将征侧残部逼入禁溪（在麓冷县境）洞穴之中，封锁洞口将其围歼。交趾悉平。战后，马援整顿当地行政机构，健全郡县制，参照汉律修订法律，兴建城池，开渠灌溉，推广铁器牛耕，得到当地百姓的欢迎。
这些政策，在一定程度上缓和了当地的民族矛盾，使岭南各族相继臣服了东汉王朝。一直到汉和帝时，岭南地区的局势，基本上都是比较稳定的。
最早涉及哀牢人历史的是西汉司马迁《史记·西南夷列传》，说：“西自同师以东，北至叶榆，名为嶲、昆明，皆编发，随畜迁徙，毋长处，毋君长，地方可数千里……其西千余里有乘象国，名曰滇越。”大意说，今保山至大理一带，有一些编着发的嶲、昆明游牧民放，常常游牧地方达数千里……又说在今腾冲、德宏一带有一个名叫滇越的乘象国。由于这个地方象多，风俗乘象。这应该是哀牢政权下一个强盛的部落王国。其后，记述到哀牢人史事的史书就多了，如班固《汉书》、《东观汉记》和《东都赋》、王充《论衡》等。
西汉元封二年（公元前109年），汉武帝在今昆明晋宁置益州郡，下设24县，其中在哀牢国领土就设了6县，即邪龙（今巍山）、云南（今祥云）、叶榆（今大理）、比苏（今云龙）、嶲唐（今漕涧）、不韦（今保山），以今东边的大理一带到西边的保山怒江为界，并在哀牢国统治中心地今保山坝设置了不韦县治，迁吕不韦后裔吕嘉氏族从今四川到保山坝定居，并“开文教之风”，从而带来了先进的汉文化。
此后，在夷汉文化大融合的同时，伴有频繁的矛盾冲突，有史籍记载的就有几次较大的战争。如东汉建武十八年（公元42年），益州郡夷帅栋蚕率诸夷反叛；十九年（公元43年）朝廷派将军刘尚率汉军3000余人进行平息；二十一年（公元45年）正月刘军追至不韦（今保山），于不韦大战，最后杀死夷军7000余人，俘虏5700余人，缴获马3000匹，牛羊3万余头，夷师栋蚕被杀，诸夷才平息，显然当时哀牢人是参与了这次战争的。这次战争对哀牢人震动很大。这是汉王朝军队向哀牢国统治中心地（今保山坝）迈进的第一步，汉朝势力发展到今保山坝设立不韦县，也只是在政治上占据了哀牢国的一部分领土，并没有使哀牢政权降服。
建武二十三年（公元47年），哀牢人为了进一步扩充其自己的领土，小王扈栗率兵乘船沿江（疑今大盈）南下攻打已与汉王朝略有联系的附塞鹿芗（疑今缅甸八莫以南一带），最后哀牢官兵以失败而告终，并认为鹿芗有“中国有受命之王乎”，“汉威甚神”，于是产生了“内属”之心，可以说这是哀牢归汉的思想转折点。建武二十七年（公元50年），扈栗等率部族到越嶲郡（今四川西昌南部）找太守郑鸿要求内属。光武帝刘秀得知此事，便将益州郡西部不韦（今保山）、嶲唐（今漕涧）、比苏（今云龙）、叶榆（今大理）、邪龙（今巍山）、云南（今祥云）6县划出，设为益州郡西部属国（级别介于郡县之间），并任扈栗为属国君长，作为土官管理哀牢人。这首先是汉王朝的一种羁縻手段。至东汉永平十年（公元67年），汉廷又派汉官郑纯任属国都尉，设治于嶲唐（今漕涧），“以镇哀牢人，叶榆蛮”。永平十二年（公元69年），哀牢王柳貌深深感到汉政权的强盛和文化的先进性以及朝廷对其子扈栗的信任，于是又派扈栗再次率所属部族首领亲自到京都洛阳归属哀牢政权。汉明帝显然视为国家一件盛大喜事，并在宫中举行盛典庆贺后，将怒江以西今腾冲、龙陵、德宏等地设为哀牢县，澜沧江以东今永平一带设为博南县，以及把原益州郡西部属国不韦、嶲唐等6县划出，共计8县，在嶲唐（今漕间）新设为永昌郡辖，其疆域与原哀牢国基本一致，人口189万，位居全国第二。尤其更具有重大历史意义的是，祖国西南疆界由此而基本形成。