光武帝即位后，于建武元年至十二年（25—36年），削平了各地封建割据势力，完成东汉统一大业。
建武元年（25年）十月，光武帝派大司马吴汉率军10万围攻洛阳，随后亲自到河阳指挥。光武帝采取政治诱降策略，不记较朱鲔的杀兄之仇，使得洛阳30万人不战而降。刘秀建都洛阳。
建武二年（26年），邓禹军与赤眉军在关中来回混战了数次，虽然赤眉军的力量被大大削弱，但邓禹军也损失了不少。光武帝得知邓禹已很难改变关中的不利局面，于是让善于治军和作战稳健的冯异取代了邓禹，负责指挥关中的军事。
冯异迅速进行部署调整，于第二年闰二月，采取诱敌伏击的战法，获得了崤底之战的胜利，赤眉军8万多人被迫投降，赤眉军10多万余众仓皇往东逃向宜阳。光武帝早已料到赤眉军必定会逃到宜阳，于是亲自来到宜阳严阵以待。在宜阳消灭了落入圈套后的10多万赤眉军，夺取长安，取得东西“二京”。至此，关中地区被光武帝取得，第二步战略目标也得以实现。
光武帝着手削平群雄，统一全国
光武帝在第二步战略目标实现以后，便开始了削平群雄、统一全国的战略部署。
时西汉共有13个州，刘秀仅占有司隶校尉部和冀、幽、豫、并等州，其余州县均为地方豪强所割据。其中，东有睢阳的刘永，东海郡的董宪，青州的张步，九江的李宪；北有渔阳的彭宠，五原的卢芳；西有天水郡的隗嚣，河西的窦融，益州的公孙述；南有黎丘的秦丰。
光武帝对当时各割据势力所处的地理位置和他们力量的强弱，制定了一个战略方针，即“由近及远、由东向西、逐个击破”。为了这一方针的贯彻，光武帝采纳了来歙的建议，联陇制蜀，使他的部队可以偏师扼守关中，而主力则用来对付东方。
光武帝建武二年至五年（26—30年），光武帝一方面派来歙到陇西完成联陇制蜀的战略，解除西顾之忧；一方面集中主力，把洛阳和河内作为对关东各封建割据势力展开攻势的中心。
光武帝对各封建割据势力展开攻势
建武二年（26年）春，光武帝命虎牙大将军盖延带领马武、王霸、刘隆、马成四将以及5万兵众，攻破睢阳，战败后的刘永退到了谯县。周建、佼疆和苏茂合兵3万来支援刘永，却被盖延在沛郡打败。刘永、佼疆和周建退守到了湖陵，而苏茂退守广乐。沛、楚、临淮的大部分地区被盖延乘胜攻占。
建武三年（27年），光武帝派大司马吴汉围攻退守广乐的苏茂。周建率军来救援，结果大败。苏茂和周建又退守到了湖陵。而睢阳城又叛归给了刘永。四月，盖延与吴汉合军再攻睢阳。六月，睢阳城再次被攻破，刘永被杀。十一月，光武帝任岑彭为南征大将军，王常、朱祐等8将军由其统率，共计9万多人，大规模南下，董沂、邓奉、秦丰、延岑、田戎等或投降或被杀，南郡彝陵也被攻占。
建武四年（29年）五月，大将军朱祐和建威大将军耿弇往北攻彭宠。建武五年（30年）二月，彭宠被奴仆杀害，燕蓟及其以北地区被光武帝攻占。光武帝于七月，率主力军东伐董宪。
建武六年（31年）二月，光武帝在朐县灭了董宪，夺取了东海地区。十月，耿弇率军攻占青州张步，袭击了历下，攻破了临淄，在平寿围攻张步直至其投降。在舒县，扬威将军马成率军围攻李宪。
建武七年（32年）正月，舒县被攻破，李宪被杀。关东各封建割据势力，至此逐个被光武帝个个击破。
光武帝在平定关东各封建割据势力以后，立即将目标转向了隗嚣。为打败隗嚣，光武帝积极笼络割据河西的窦融，封他为凉州牧，并且缓解了和公孙述之间的冲突，从而隗嚣被孤立起来。四月，光武帝派耿弇、盖延等7路大将率兵翻越陇山攻陇，但是被隗嚣的部将王元打败。
建武八年（33年）春，光武帝乘隗嚣军戒备松散之际，派来歙率2000精兵偷袭并占领了略阳，向隗嚣所据冀县逼进。隗嚣用了几个月的时间围攻略阳，不仅没攻下来还致使将兵们一个个都已很疲惫了。光武帝乘机率军直捣隗嚣大营的后背，消灭其主力，隗嚣大败。
建武九年（34年）十月，光武帝又令来歙率冯异等西征，消灭隗嚣残部，历时4年的平陇作战至此结束。
平陇战后，光武帝即从南、北两个方向，对益州的公孙述展开攻势。
建武十一年（35年）三月，南路的岑彭率战船沿长江三峡逆流进入蜀地，江关被攻占。六月，下辨、河池被北路的来歙攻占，之后，来歙却被公孙述派来的人暗杀了。此时，羌族正在陇西起事，于是北路军的主力转到了陇西。七月，岑彭命将军臧宫率兵5万从平曲抵御蜀军的主力，而亲率主力快速行进了2000多里，深入岷江中游，攻占武阳，出其不意地迂回到了蜀军主力的后面，以精骑兵攻击广都，向成都进逼。十月，公孙述又刺杀了岑彭。吴汉接管了岑彭的军队，攻占广都。臧宫攻占了繁、郫后，与吴汉军会合，一起围攻成都。
建武十二年（36年）十一月，公孙述受重伤而死，其部将延岑以城投降。
至此，东汉历时11年的统一大业终于完成。光武帝定关东，平陇蜀，剪灭群雄，最后实现了中国历史上的第三次大统一。光武帝作为东汉王朝统一之战的最高决策者，杰出的表现使他不愧为一位优秀的军事家。光武帝延揽英雄、务悦民心的举措和驾驭战争、先机制敌的策略，都在中国军事史上占有很重要的地位。