地皇三年（公元22年），绿林山发生瘟疫，绿林军只好下山分头行动：王常、成丹等西入南郡（治今湖北江陵），称“下江兵”；王匡、王凤等北入南阳，称“新市兵”。七月，王匡率军进攻随县（湖北随县），平林人陈牧、廖湛聚众千余人响应，号“平林兵”。这样，南阳一带也骚动起来了。恰好这里正闹着饥荒，民心浮动，南阳郡宛城（河南南阳市）有个官僚豪强地主李通，就策划联络刘縯、刘秀兄弟一同起事。
李通，出身在一个“世以货殖著姓”的大官僚、大商人家庭，“居家富逸，为阆里雄。”其父李守，喜好星历谶记，当上了王莽的宗卿师（王莽摄政，设置宗师以主管宗室，因受尊崇，故称为宗卿师）。李通也当上了五威将军的从事，后出任南郡巫县的县丞。王莽末年，社会混乱，百姓愁怨。李通曾经听他父亲李守说过“刘氏复兴，李氏为辅”这条谶文，一直记在心上。他家境富裕，称雄乡里。所任的五威将军从事，是一供趋使的小官，他也很不愿意，“自免”而回乡，以待时机。
李通的族弟李轶，很有心计，与李通的想法相同。当新市兵进入南阳时，他跑来对李通说：“今四方扰乱，新室且亡，汉当更兴。南阳宗室，独刘伯升兄弟泛爱容众，可与谋大事”，李通十分赞同。恰好这时刘秀带着家属，为逃避官府的追捕，到了新野，并顺便到宛卖谷。李通听说后，赶紧派李轶请他来商议大事。
刘秀一家，先前和李通一家有过纠葛：李通有一个同母弟叫申徒臣，会治病，但架子大，刘縯把申徒臣杀掉了。事过境迁，李通对这件事已经不再计较追究了。可是，刘秀怕他怀恨在心，故推辞不去，李轶表达李通一再请求之意，刘秀不得已，只好勉强去见。为了预防他买了一把短刀藏在袖中，然后到李通家。当时，李通有病，躺在内室，先由李通的哥哥李鯈、弟弟李宠及李轶和刘秀相见。他们见到刘秀十分高兴，一齐说到“天下兵起，王氏败亡之状”。刘秀最初以为李通邀见，是出于士君子互相爱慕，现在乍听到这些话，“大惊不敢应”，赶忙起身离开客厅，来到李通的卧室表示问候。李通十分高兴，不禁抬手握住了他的胳膊，那想正好握到了短刀，感到十分奇怪。刘秀知道不好隐瞒，干脆坦率地说：事出仓促，为预防万一计。李通明白了，也不见怪。
谈话中，李通向刘秀说起“刘氏复兴，李氏为辅”的谶文，透露出策谋起事的意向。刘秀最初表示不敢当，心里却展开了激烈的斗争：他想，李氏这个家族，十分富裕。李通的父亲李守为人“语言谲诡”，不是一般平常之辈。而他家族的子弟，经常在外面闹事犯法。与这样的人共谋大事，靠得住吗？又想，如果不答应他们，恐怕他们会和南阳府的掾史张顺等连谋，对自己反而不利，“深念良久”。后来，想到自己的大哥刘縯平素交结侠客，一定是要图谋大事。而且，王莽失败的兆头已很明显，天下正是纷纷扰扰的时候，时机实在不应错过。当时李通的父亲仍然在长安当官，不可不虑，于是，他试探性地向李通提出：“即如此，当如宗卿师何？”李通说：“已自有度矣！”并把自己的打算和盘托出。刘秀在深知他的全部想法后，疑虑打消了，“遂相约结，定谋议”。他们计划在材官都试骑士日（即九月立秋日这天，地方上检阅军队，并进行考核）发动起义，乘机劫持前队大夫（即南阳太守甄阜）和属正（即都尉梁丘赐），用他们的名义来号令大众。计议停当，李通让刘秀和李轶一起返回舂陵，届时举兵相应。同时，派族兄子李季到长安，把起义的计划告诉他的父亲。接着，他们分头购买武器弓箭，做好具体准备。
李季不幸在路上病死，未能到达长安。但李守已经暗中知道消息了，他想逃回家乡。这时，李守有一个同乡叫黄显，在朝廷当中郎将，他们关系很好。黄显是个胆小怕事的人，知道这个消息后，劝李守说：“今关门禁严，君状貌非凡，将以此安之？不如诣阙自归，事既未然，脱可免祸。”李守听从他的话，到朝廷坦白了。当朝廷对这件事尚未作出处理时，李通他们策划起义的事被地方官发觉了，李通逃脱。王莽听到这件事，勃然大怒，命令把李守抓进监狱。以后，南阳的前队大夫又报告李通等继续举兵反叛。王莽立时把李守、黄显一并诛杀，李守在长安的家属，全遭惨害。南阳的地方官府，也把李通一家兄弟、门宗64人“焚尸宛市”。
刘秀和李通、李轶等原来起义的计划因消息泄露没有实现。刘秀和李轶也未能按计划返回舂陵。李通出逃后单独行动，刘秀和李轶继续潜伏于宛，直到十月，他们才率众起义。当时刘秀是28岁。起义后，队伍南下，十一月，到达家乡舂陵。这时，他的大哥刘縯也已经会众起兵了。不久，李通和刘秀、李轶在棘阳会合。
刘縯，性格刚毅，慷慨有大节。自从王莽篡汉后，“常愤愤，怀复社稷之虑”，早就准备起兵反抗了。他不理会家人产业这些事，广散财物，一心一意交结天下雄俊豪杰。王莽末年，各地武装起义风起云涌，南方一带更加激烈。在这种形势下，刘縯召集舂陵一带的豪强地主共同谋划起义，他激动地对大家说：“王莽暴虐，百姓分崩。今灾荒连年，兵革并起，此亦天亡之时，复高祖之业，定万世之秋也。”这个主张得到众人的赞同。于是，他们分别派遣亲客到各处活动，又派人通知邓晨在新野起义。地皇三年（公元前22年）十月至十一月间，刘縯、刘秀发动舂陵子弟七八千人正式起义。
起义初，各豪强地主家的子弟十分害怕，有的吓得藏起来，他们说，“伯升杀我”（杀，即坑害之意）！正好，刘秀带领起义人马从宛来到舂陵，他们看到刘秀穿戴“绛衣大冠”（即将军之服），出现在众人面前，不禁又惊又喜地说：“谨厚者亦复为之！”原来，刘秀平时专门从事经营产业，规规矩矩，在人们的心目中，他是一个谨慎厚道的人，在地方上颇有一点好的影响。他不像刘縯那样，平素广交豪杰宾客，豪爽好侠。如今，连厚道的人也反叛朝廷了，还有什么可怕的！这样，原来那些惴惴不安的人稳定下来了，并逐渐聚拢过来了。
刘縯把部队整顿一下，自称为柱天都部（若天之柱，统领大众的意思）。这支队伍起义于舂陵，史称“舂陵兵”。又因为是以复兴汉室为号召，故又被称为“汉兵”。这是一支反莽的地主武装。
从此，刘秀踏上一条新的而又充满艰难的道路，开始了他的戎马生涯。为实现自己的目的，在最初的斗争中，他曾经小心翼翼地和农民军配合，表现了出色的智勇，闯过了一道又一道的难关。他们一起西向进击长聚和唐子乡（湖北枣阳县北）。刘秀初时骑牛随同队伍前进，后来，攻杀新野都尉，缴获了马匹，才有坐骑，这一时期，刘秀也因此被称为“骑牛将军”。
接着进攻湖阳（河南唐河县湖阳镇）。起义军派刘终诈称是江夏郡派来的官吏，诱出湖阳都尉并斩杀之。义军节节取胜，但是，各支队伍对缴获的财物，分配不均而发生了争执。那些不是刘氏宗族的人分得少，准备攻击刘氏宗族，明火执杖来争夺。在这种紧急的情况下，刘秀赶紧把本宗族所得到的财物，统统收集起来，全部分给其他部队，这样，终于避免了初期起义军中一场无谓的纠纷。
义军继续进军棘阳（今河南南阳南），李通和邓晨均率众来会合，势力更加壮大。很快攻破这座城池，又决定直取南阳郡郡治宛城。进到小长安聚（今河南邓县境内），和王莽的前队大夫甄阜、属正梁丘赐的军队遭遇。当时天上乌云密布，对面迷雾蒙蒙，双方激战。由于力量相差悬殊，加以地形不熟，义军惨败，向后奔撤，莽军乘势掩杀。刘秀单人独骑急急奔逃，路上遇到妹妹刘伯姬，赶紧扶她上马共骑而奔。跑了不久，又看见大姐刘元拉着三个女儿气喘吁吁地跑着（刘元即邓晨之妻），即催促她们也赶快上马。刘元悲伤地说：“你们走吧，无法相救了，不能大家都死在一块！”正好后面追兵赶到，刘秀只好拨马而走，忍悲含痛地眼睁睁看着自己的亲人惨遭杀害！这仗，刘秀的哥哥刘仲，叔父刘良的妻子和两个儿子以及宗族等数十人，全部遇难。
刘縯收集残兵，退保棘阳。甄阜、梁丘赐乘胜而进，他们把辎重留在蓝乡（河南泌阳县境内），率精兵十万南渡黄淳水，到达沘水，在两个山川之间扎下营寨，并拆掉后面的桥梁，以表示要死命镇压起义军。新市兵和平林兵看到形势逆转，准备带兵撤退，分头行动。刘縯十分担心，正在无计可施之际，探子来报，说是下江兵五千余人在王常的带领下到达宜。秋（宜秋聚，在今泌阳县境内），刘縯心中升起了一线希望。于是，他带着刘秀、李通一起来到王常的营寨，“说以合从之利”。王常十分赞同，他说：“王莽篡弑，残虐天下，百姓思汉，故豪杰并起。今刘氏复兴，即真主也。诚思出身为用，辅成大功”，刘縯也表示，如果将来成功，不敢独享。下江兵将领成丹、张印初时不愿意合作，他们说：“大丈夫既起，当各自为主，何故受人制乎？”王常劝告他们说：王莽政令苛酷，早已失去百姓之心，“民之讴吟思汉，非一日也，故使吾属因此得起。夫民所怨者，天所去也；民所思者，天所与也。举大事必当下顺民心，上合天意，功乃可成。若负强恃勇，触情恣欲，虽得天下，必复失之。”又说：“今南阳诸刘举宗起兵，观其来议事者，皆有深计大虑，王公之才，与之并合，必成大、功，此天所以祐吾属也。”王常这些话，是顾全大局的。不然，各路起义军将有遭到各个击破的危险。他的主张，得到其他将领的赞同。于是，王常、成丹、张印等率领下江兵与汉兵、新市兵、平林兵汇合在一起，军容转盛。刘縯和刘秀以他们的正确主张和行动，为起义军的重新发展创造了一个转机！
刘縯十分高兴，大飨士卒，设盟约，休卒三日，整顿军队，分为六部，开始反击。“于是诸部齐心同力，锐气益壮，遂俱进。”十二月底的一个晚上，他们利用夜幕的掩护，潜狮袭取蓝乡，抄了甄阜、梁丘赐的后路，缴获全部辎重。地皇四年（即更始元年，公元23年）正月甲子朔，汉军从西南进攻甄阜，下江兵从东南猛击梁丘赐，双方在沘水之西大战。梁丘，赐的阵势首先被击溃，甄阜一看大势不妙打马就逃，士兵一哄而散。刘縯、刘秀和王常等挥军乘胜急追，一直追到黄淳水。甄、梁二人原先已拆掉桥梁，这时反而成为自己的坟墓，其溃兵无法渡河，“斩首溺死者二万余人”。甄阜、梁丘赐均成为起义军的刀下鬼。
刘縯、刘秀等指挥的部队，接连取得重大胜利。这一胜利，推动了全国各地起义的进一步发展。