当时黄埔军校内共产党员和国民党左派同国民党右派之间的斗争非常激烈，新开课的高级班也不例外，黄公略旗帜鲜明地站在共产党员和国民党员左派一边。不久，蒋介石和汪精卫相继在上海和武汉发动“四一二”反革命政变和“七一五”反革命政变。蒋介石、汪精卫公开反共，黄公略却下定决心跟着共产党走，他不顾白色恐怖的威胁，频繁同共产党人秘密接触。1927年12月，黄公略参加了广州起义，并毅然加入了中国共产党。
广州起义失败后，黄公略继续在黄埔军校学习，并进行革命活动。1928年3月，黄公略收到彭德怀的来信，邀他毕业后仍回原师工作，并告诉他师长周磐已决定由他主办师部随营学校。当时，原国民革命军第八军第一师，已改编为湖南独立第五师，师长周磐。彭德怀升任该师第一团团长，李灿、张云生等人也都在该团。黄公略立即将彭德怀的来信经黄埔军校共产党的组织向中共广东省委军委作了汇报，并提出回原部队开展兵运工作的设想。广东省委军委很快批准黄公略请求，并派共产党员黄纯一、贺国中随他一起去独立五师从事兵运工作。
3月中旬，在黄埔军校高级班毕业后，黄公略即同黄纯一、贺国中一起，由广州经上海、汉口、岳州到达湖南南县，在独立第五师第一团驻地，见到了分别一年多的彭德怀。尽管他同彭德怀相交甚厚，但由于别后相互没有往来，不了解情况，黄公略仍保持着高度的革命警惕性，开始并未贸然拿出党的组织介绍信。
彭德怀与邓萍、李灿、张云生等向他介绍筹建随营学校情况，当讲到办校宗旨时，提出“打倒新军阀”，黄公略故意发问：“新军阀指谁呀？”彭德怀说：“当然是蒋介石。”黄公略假装“发怒”说：“我们的校长如何如何……。”在座的人也大惊失色，因为事先未加戒备，现在所有秘密都告诉他了。大家都很气愤。
这时彭德怀说：公略啊！我们多年好友，过去你说对革命事业如何如何，现在一反过去。那好吧，你走你蒋介石的阳关大道，我走我艰难险阻的独木桥。话音刚落，张荣生等立即把黄公略捆绑起来，又用一条毛巾封上他的嘴。黄公略脸色发白，连忙用手指着皮鞋后跟，具有秘密工作经验的邓萍从黄公略皮鞋后跟发现了中共广东省委的介绍信。大家吃了一惊，马上给黄公略松了绑。彭德怀说：“公略！你这是干什么？开这么大的玩笑！”黄公略说：你现在当了团长，谁知道你是真革命还是假革命。
第二天早饭后，黄公略与彭德怀在团部门外开怀畅谈。黄公略向彭德怀谈了广州起义的意义，国民党镇压起义的残暴，以及一路途经上海、汉口等地所见到的白色恐怖的情况。彭德怀介绍了自黄公略离开部队，秘密组织救贫会、士兵会的活动的情况。他还谈了培植党的力量，劝说周磐办随营学校的事，同时分析了周磐同意这件事其实是有自己的野心的。两人交换了对时局看法，一致认为，帝国主义各自勾结支持一派军阀，企图扩大势力范围，因此军阀混战是帝国主义相互斗争在中国的反映。在谈到党所领导的各次武装起义时，俩人都感叹在现代战争技术发展的情况下，搞武装斗争没有根据地不行。彭德怀还特别提到赞成毛泽东在井冈山发展工农红军的做法，表示要效仿毛泽东，依湖泊或山区发展根据地。
黄公略关切地问彭德怀最近看些什么书？彭说他看了三本书：《共产主义ABC》、《通俗资本论》和《水浒传》。这时黄公略问彭德怀：“你像《水浒》上的谁？”彭自谦道：“有些类似李逵”。二人相视大笑，谈得十分投机。黄公略还诗兴大发，欣然提笔写了一首七律送彭德怀：“广暴失败旗帜在，树立红军苏维埃。旅沪武岳语弃市，乌云蔽日只暂时。欣谈时局喜春风，柳絮飞舞庆重逢。锦绣洞庭八百里，四江精粹在湖滨。”彭德怀也咏诗相和，二人甚为投机。
以后几日，彭黄二人又在一起商量了有关随营学校的具体事项，并将商议结果向周磐作了汇报，取得了他的同意。
1928年4、5月间，独立五师随营学校在南县正式成立。黄公略任校长，贺国中任教育长，黄纯一任学校大队长。黄公略利用会餐机会对学员们进行教育：我们吃得这么好，可是工人农民中还有许多人没饭吃，没衣穿，许多人还受着帝国主义和军阀的压迫，我们不应该忘记。他意味深长的讲话，在学员们的心中留下深刻的印象。开学后不久，黄公略偕黄纯一、贺国中在彭德怀处参加了一次有中共南(县)华(容)安(乡)特委代表张匡参加的秘密会议，讨论了如何通过随营学校培养发展可靠的革命力量，发展壮大党的组织，争取在两年内以一团为基础举行全师起义等问题。这次会议根据特委的决定，成立了中央一团秘密党委，推选彭德怀任书记；随营学校成立分支部，由黄公略任分支部书记。
随营学校第一期招收100多名学员，大部分是追求进步的士兵，也包括了不少受迫害的农民协会会员。黄公略对随校的军训抓得很严，而且处处以身作则。在国民党部队中，连以上军官一般不出操，可身为校长的黄公略不但和普通士兵一样，经常出操，还亲自喊操。黄公略十分注意向学员灌输革命思想，常向学员讲解国民革命和农民运动的重要性及中国农民运动的特点。他虽为一校之长，但没有官架子，为人和蔼可亲，爱找学员个别谈话。
一次他问学员彭绍辉：“你做长工时，有个地主姓刘，外号叫刮皮佬，你说他为什么叫刮皮佬？”彭一时语塞，黄公略解释说：“意思是剥削的厉害，剥削了你还不知道。”彭绍辉就是在黄公略的启发下走上革命道路，后来又由黄公略介绍加入了中国共产党。在随校，黄公略还领导共产党员在学员中秘密传阅《共产主义ABC》等革命书刊。在黄公略、贺国中、黄纯一等启发教育和影响下，随营学校学员后来大多数参加了平江起义，还有不少人成为红军的骨干。
1928年6月，湖南独立第五师奉命开往平江，接替阎中儒旅执行“剿共”任务。此时三团三营营长因贪污被撤职，一团九连连长病故。师长周磐决定调黄公略为三团三营营长，黄纯一为九连连长，随校由贺国中负责，移驻岳州。黄公略离校赴任时，第一期学员还没毕业，他向学员作了最后一次演讲，鼓励大家树立革命人生观，他用亲眼目睹的中国人民受帝国主义与封建军阀压迫、剥削的悲惨事实，勉励大家为中国人民的解放事业而努力奋斗。
1928年6月17、18日，独立五师除随校外，全师陆续到达平江。彭德怀的一团驻县城以及城南，黄公略的三团三营驻离县城60多里的东乡嘉义镇。
大革命时期，平江县的农民运动发展迅速。大革命失败后，平江县的农民在共产党领导下，发动了秋收起义，农民武装曾三次攻打平江县城但都遭到失败，中共平江县委组织了20余万人的农民队伍攻打平江县城。攻城失败后，国民党反动派民团、清乡队对平江县城进行反复围剿，破坏十分严重，但党的组织和基本力量依然保存下来了，平江游击队在胡筠等的领导下依然活跃于北乡及东、南两乡，并和浏阳游击队遥相呼应，严重威胁着湖南的反动统治。湖南省清乡督办署命令独立五师加紧“进剿”，并制定了一个相当严密的“清剿”计划。
针对这种情况，一团党委专门开会研究了针对“清剿”计划，制止清乡团、队烧杀抢掠，减轻人民痛苦的对策。主要有：派人到各营、连宣传当地反动统治的恶行；宣传孙中山扶助工农的政策，保护工农实际利益；发挥秘密士兵委员会的作用，加强对部队的纪律教育；在外出“清乡”时，监督反动民团，不准他们有任何残民行为等。然而黄公略初到三团，工作没有基础，团长刘济仁十分反动。黄公略考虑要贯彻党委意图，必须首先取得本营(即三团三营)士兵对自己的信任。因此他到营就职后便把自己的钱当饷银发给士兵，拖了几个月的饷银发到手，士兵们对黄公略都十分感激。黄公略又深入士兵中去问寒问暖，士兵们终日劳苦，得不到一点安慰，现在黄公略一到，不但拿出自己的钱来分给大家，还关心大家的生活。因此，大家都备受鼓舞，感觉到这个营长是一个关心士兵的好营长。
黄公略在部队驻嘉义镇时，极力寻找当地的党组织，并很快与中共嘉义镇区委取得了联系。但有一次因保护两名被抓起来的赤卫队员，黄公略的身份开始遭到反动分子的怀疑。
1928年7月18日，周磐的马弁陈玉成(原救贫会成员，我党派在师部的秘密情报员)从长沙给彭德怀发来密电，称：黄公略驻防南县时，曾开通行证给南华安特委的同志到长沙买油印机，现特委机关被破获，查出这张通行证，周磐认出黄公略的笔迹，已命令立即逮捕黄公略、黄纯一、贺国中三人。与此同时，彭德怀在电报局还截获了周磐给副师长李慧根的电报，大意也是如此。
情况十分危急，彭德怀立即找到刚到平江的湖南省委巡视员滕代远商量，并随即召开秘密团党委会紧急会议，经过讨论决定：独立第五师第一团于7月22日在平江举行武装起义，同时密告黄公略率部在嘉义起义策应。7月20日，黄公略释放赤卫队员黄耀南等人时，被在本营当连长的刘团长的侄儿察觉并上告。鉴于身份已经暴露，黄公略毅然决定提前起义，于7月21日下午以闹饷为名发动全营士兵哗变，当场打死团长刘济仁的侄儿、告密的连长和另一反动连长，枪毙了反动的挨户团主任，缴获反动民团的枪30余支。
嘉义起义胜利后，黄公略立即同中共嘉义区委书记涂正坤等取得联络，并由区委的同志带路，率领起义部队进入南山，取道周方、恩溪、钟洞前往平江城。23日下午，黄公略率领的起义部队抵达离平江县城五里路的暹江时，彭德怀、滕代远等率领独立第五师第一团已于22日在平江举行武装起义，贺国中率随营学校也及时赶到平江县参加了起义，起义军解放了平江县城。
由于黄公略对平江城内的情况还不了解，怕大部队开进城会引起误会，遂令部队在城北五里的一个叫烟舟田的小镇上休息，自己只身骑马入城。黄公略进城后见到彭、滕等人非常高兴。就在大家庆祝胜利的时候，传来第三团第三营的起义部队在九连连长贺仲斌煽动下叛变南逃的消息，黄公略闻讯十分气愤，要前去追回。彭德怀认为相距已远，已追赶不上而且路上可能还会有危险，劝其未去。
当晚，黄公略在第一团党委会上作了沉痛检讨。这一教训使他认识到，武装起义过程始终要有党的坚强领导；在部队不够巩固的情况下，党的主要领导人绝不能脱离部队。彭德怀认为，黄去第三团三营不过一个月，对部队的情况没有充分掌握，发生叛变并不特别意外，他要黄不必难过。第三团三营未能加入起义军是个遗憾，但黄公略领导的嘉义兵变，给敌人以沉重打击，具有重大意义。中共中央巡视员在后来的视察报告里称平江起义为“彭黄兵变”，可见黄公略是平江起义的主要领导人之一。
平江起义后，成立红五军，1928年彭德怀率红五军一、三纵队上井冈山。黄公略率第二纵队留守平江、浏阳一带，开展游击战争，创建湘鄂赣革命根据地。在黄公略的领导下，部队由几百人发展到两千多人。1929年9月，黄公略出任红五军军长。
7月24日下午，在平江城内月池塘召开了几万人参加的庆祝平江起义胜利大会。会上正式宣布成立中国工农红军第五军，彭德怀任军长兼第十三师师长，滕代远任军党代表，下辖一、四、七3个团，共2500余人，黄公略被任命为第四团党代表。与此同时，成立了中共红五军委员会，黄公略被选为委员。
接着，红五军军委与平江县委召开联席会议，决定以平江东乡的长寿街为中心，力争在最短的时间内，从平江开始，建成湘、鄂、赣三省的边区革命根据地，派黄公略的第四团向平南方向发展，与浏阳县委取得联系，协助他们开展工作。第四团出发后不久，7月29日，平江遭到敌6个团的围攻，军委急令第四团回援，但第四团在回援途中遭敌截击，损失很大。这时第四团只剩下400余人，又与主力部队失去联系，处境十分危险。但黄公略毫不气馁，带领部队在平江、浏阳边界单独活动达一月之久，终于在黄金洞与军部主力汇合。会合后，红五军军委决定撤销第四团番号，改为教导大队，由黄公略担任大队长兼党代表。
8月底，根据湖南省委指示，红五军从黄金洞出发，向井冈山前进，途中遇到大量敌军的追堵，至江西万载县大桥时，又因一个副连长投敌告密，部队遭到敌人袭击，仓促应战，伤亡很大，只得再返回平江、修水、铜鼓交界的纸坊休整。这时，部队剩下不到1000人，这是红五军最困难的时期。在这紧要关头，在黄公略的协助下彭德怀、滕代远等领导人，总结经验教训，对混在起义部队中的反动异己分子进行了审查和清洗，吸收在战斗中经过考验的优秀分子入党，使部队得到初步的整顿。在此基础上，军党委对部队进行了整编，取消团、营番号，改编为5个大队和1个特务连，任命黄公略为第二大队大队长。整编后，为避开湘、鄂、赣三省敌军的“围剿”，又决定由彭德怀、邓萍率领4个大队向鄂南的武宁、九宫山发展；黄公略率领第二大队在平江、浏阳、万载边境活动；滕代远率领特务连留在修水、铜鼓和修、铜、平、浏边境活动。
9月中旬，滕代远在铜鼓的幽居，召开了平、浏、修、铜、万(载)5个县委和红五军军委联席会议，正式重新恢复湘鄂赣边特委。10月，红五军军委和特委举行联席(扩大)会议，决定将红五军和工农游击队混编为五个纵队，每纵队约400余人，任命黄公略为第二纵队纵队长。同时，面对湘、鄂、赣三省敌军正向红五军“会剿”危急形势，决定一、二、三纵队由黄公略统一指挥，在平、浏、修、铜、武、万一带坚持游击战争，保卫和发展湘、鄂、赣苏区；四、五纵队和军部直属队由彭德怀、滕代远率领向南突破敌军的包围，设法上井冈山，与红四军取得联络。
1928年10月间，湘鄂赣三省敌军对湘鄂赣边进行“大围剿”。敌军以20多个团的兵力，分别从湘东的平浏，鄂南的通城和赣西北的铜鼓一带，向红五军疯狂扑来。