对于蒋介石的倒行逆施，早就仇视马克思主义仇视共产党，对国共合作不满的阎锡山，很快便作出了反应。4月25日，他在复孙传芳的电报中，就说：“赤党嚣张，争夺为心，虽蒋尚且不容，足证其不能与人合作也”（《阎锡山年谱》（二），第745页），并对蒋介石建立企图“以党治国”的南京政府极表赞同，而对当时以汪精卫为首的武汉政府，则极为仇视，他认为，“武汉不倒，南京必失败，时期愈延长，愈危险，武汉倒后，中国之腐败军阀，必不足以为国民党之敌手也，应排除一切，专对武汉”。阎锡山所以对宁汉两个政府持这样截然相反的态度，这从他对武汉政府派来的代表孔庚于6月17日抵达太原后的谈话中，可以清楚地说明其原因，阎锡山对孔庚说：“南京是国民党的政府，蒋总司令是总理的信徒，是革命的。武汉是共产党的政府。山西人已害怕共产党，已决定约蒋总司令动员北伐，拒受汉口政府之命令”。“武汉有一个鲍罗廷，是第三国际派来的，武汉政府完全为他所把持，一切事情非得他的许可，不能有所作为。武汉商人的资本，以及丰裕之人的产业，都一概被没收，已经完全实行共产”。“汉口方面将孔子塑像抬上游街，横加侮辱，显然是毁灭中国文化。 我即不与汉口往来，只与南京合作”（《阎锡山年谱》（二），第761—762页），这也是阎锡山何以不接受武汉政府于3月11日任他为国民革命军北方总司令一职的原因。而在此期间，由于奉军在津浦一线作战失利后，准备向南京政府妥协，其中奉方只提出两个条件，即“一、废除共党。二、与俄脱离关系，如宁方能行二条件，津浦战事立即停止”（《阎锡山年谱》（二），第748页）。与此同时，日本方面由土肥原出面，又向阎表示出了“奉将退出关外，北方政局，自当由山西维持，斡旋南北，平息战事”的意向（《阎锡山年谱》（二），第750页）。在阎锡山看来，既然南京政府是坚决反共的，蒋介石是“革命”的，而奉方又把废除共党作为了与宁方合作的条件，那么，与蒋介石合作既可遂其志，又不会招致奉方的报复，于是，他不久便通令全省易帜，并毅然就任国民革命军北方总司令。从而一反其所标榜的“山西从来不轻易与人合作，即不轻与人离”的信条，终于在“合和离，乃以党国利害为前提之下”（《阎锡山年谱》（二），第877页），与蒋介石同气相投，携手合作。
从阎锡山这种选择上，可以清楚，他的易帜和后来讨奉北伐的真正目的，并非是真正要进行北伐革命，而是想要通过经蒋介石领导的北伐，消灭共产党，扑灭工农群众运动，以及北洋军阀等地方势力，以便扫清完成“以党治国”的一切障碍，建立一个由国民党一党专政的资产阶级共和国。对此，还可以从他易帜前后的一系列言行中得到进一步证实。4·12反革命政变后，阎锡山就曾多次向蒋介石提议“联奉讨共”，并加紧了对奉方的劝促，劝其与南京政府合作，联合起来，“组织讨共大同盟”。他曾致电张学良等，劝促其取消安国军，改为国民革命军，这样，“南方之战争，可变为国共之战争”，不久，又复电张学良提出“联络南京及各方组织‘讨共大同盟’，消灭共党，以贯彻我军讨赤初旨”（《阎锡山年谱》（二），第754页）。他易帜后的第三天，即6月5日，在给蒋介石的电报中，又提出“现在徐州攻下，苏、皖军不成问题，鄙意此时办法，似以双方停战（宁奉停战—引者注），联合讨共，较为简当”（《阎锡山年谱》（二），第756页），同时还劝奉张与蒋介石合作，认为“民族、民权、民生为共和自然之趋势，两帅何妨标以旗帜，以团结力量共同讨赤”，“为大局计，为奉方计，妥协各方，一致讨赤，实为上策”（《阎锡山年谱》（二），第747页）。当张作霖对阎锡山的劝说“并无感悟”，与南京政府也“无以见合作之诚”，因而，蒋介石决定继续对苏、皖之孙传芳、张作霖军队讨伐，以清除南京政府“卧榻之旁”的这一威胁时，阎锡山遂致电蒋介石，建议其调整策略。电报中，他就蒋介石考虑北伐西征战略时，在先伐奉后讨共，还是先讨共后伐奉，即先奉后共、先共后奉这个问题上，通过对此两策利弊得失的分析后认为，在奉军退却但损失无多，残余势力尚足以维持京、津、保，切本党先共后奉之计划，彼亦有所觉察，奉军势必居京、津、保，视国共为鹬蚌，自在渔人地位的情况下，若“先共后奉”，其害有三，即“奉既不肯助我讨共，我不仅不能得其助，且恐伺隙而动，乘我之危”；“对奉须加戒备，兵力不能不分”；“置奉讨共则不能不与奉加以联络，将士与民众易滋误会”。而“先奉后共”，其利有五，即“讨旧军阀，将士与民众不生疑虑”；“冯、唐不敢冒天下之大不韪攻我后路”；“晋军全力可由京汉、京绥两路出发”；“奉军新败之后，易于攻破”；“北京为国家首都，中外观瞻所系，占领之后，易于号召。凡川、滇、黔、鄂、湘、豫、陕，非共产党军队，皆无所顾忌，必能助我讨共”。“总之，先共后奉，灭共至多不过六分把握。先奉后共，灭奉则有八分把握，灭奉后灭共亦有八分把握”，并向蒋介石提出了“晋方倾全力由京绥、京汉两路攻奉，请宁方以大部兵力由津浦北上，会师京津”的作战方略（《阎锡山年谱》（二），第759—760页）。
就阎锡山这番分析而言，不能说没有他的道理，但是他所提出的“先奉后共”，还是“先共后奉”方针，只是对共对奉策略上的不同，其实质还是以反共为主，以及如何才能更好地反共，灭共的。在这一点上，由于他与蒋介石南京政府反共的立场是一致的，所以，他对蒋介石亦步亦趋，献计献策，蒋介石发动“4·12”反革命政变后，他很快与蒋介石一拍即合，在反共的道路上走在一起。
2、紧步蒋介石后尘，在山西大搞“清党”
中国共产党在山西的组织太原支部，是高君宇受中共北京区执行委员会委员长李大钊委派，于1924年5月成立的。它是山西第一个共产党组织。太原支部由张叔平、傅懋恭、纪廷梓三人组成支部干事会，张叔平任书记。高君宇在筹建中共山西党组织的同时，还与苗培成、韩克温等国民党人进行了筹备国共合作的谈判。
在中共太原支部成立的同时，1924年5月，中国共产党也在山西成立了临时委员会。1926年12月15日由国共双方共同协商召开了国民党山西省“一大”，选举产生了正式的山西省执行委员会（简称“省党部”）（王建富：《山西第一次国共合作和民主革命新高潮》，《文史研究》1989年第2、3期合刊，第5—7页），第一任临时省党部执行委员共9人，其中有苗培成、韩克温、李冠洋、郭树荣、梁贤达5人为国民党员，王瀛、孙真如、王鸿钧、彭兆泰4人为共产党员，韩克温、李冠洋、彭兆泰3人为常务委员。
阎锡山对于党派活动虽然一直限制较严，但是在国共两党第一次合作形成的有利形势下，自1924至1927年“4·12”政变之前的这一期间，山西的国共两党共同合作，在号召山西民众声援国民革命，组织学生反对阎锡山的征房税运动，北伐前夕，将组织起来的全省5万多工人，按行业成立了各种工会，“五卅”惨案后，掀起以“沪案后援”为特征的反帝高潮，反对军阀战争，以及发展两党的组织等方面，还是做了大量的工作，对促进山西民主革命运动的发展，发挥了重要作用。
然而，当北伐革命军攻克武汉后，由于蒋介石在帝国主义的引诱支持下，企图建立起“以党治国”的专制独裁统治，拒绝与武汉政府合作，并竭力限制不断高涨的工农运动，因此，宁汉之争愈演愈烈。受此影响，向来就主张排斥共产党的以苗培成、韩克温为首的国民党新右派，由于与阎锡山没有什么渊源，遂成为蒋介石在山西的代言人，而一些在北伐大潮中加入国民党的阎锡山的干部所形成的党内亲阎势力“官厅派”，因其早就对共产党在山西的活动表示反感，所以，这两股势力，很快就同气相求，在反共这一共同的目标下，走到了一起，当时虽然宁汉尚未分裂，可是在山西国共两党的摩擦已悄然发生，两党的破裂也见端倪。1927年3月12日，国民党山西省党部在太原文瀛湖公园举行工人、学生联席大会，纪念孙中山逝世两周年时，大会主席苗培成即首先公然污蔑共产党“共产共妻”，对此，与会的几千群众当即呼喊口号反对，共产党员王瀛也讲话驳斥。苗恼羞成怒，与其手下“山西工人代表总会”委员长杨笑天组织人员捣毁了共产党领导的太原总工会，总工会会友又捣毁了设于平民中学的右派大本营，此后，双方的冲突持续了一个月。对此，阎锡山尚持观望态度，基本上不予过问，也不偏袒一方。但至4月下旬，即“4·12”政变不久，他即表态，支持国民党省党部，并让苗培成所属骨干每人从山西省公署领取手枪一支，以便向共产党动武。5月9日，中共山西省委召集太原全市各大中学校师生及工人群众在国民师范大礼堂为李大钊举行追悼大会，大会尚未开始，阎锡山即以“共产党集会不合法”为由，派两营兵力包围了会场，冲散了大会，还当场逮捕了共产党员张勋（张文昂）、武学和、王道明和进步青年杨怀义等4人，在会场揭露阎锡山背叛革命的薄书存（薄一波）幸得群众掩护才离开了会场。当时，由于阎锡山同武汉国民政府保持着联系，还没有公开打出反共的旗号，但从这个事件中却可以看出，阎锡山的地方势力派已经与国民党右派联合在了一起。
阎锡山于6月6日就任南京政府任命的国民革命军北方总司令后，其反共活动即予公开。他先是遵照南京国民党中央命令，对国民党山西省党部进行了改组，在省党部排除了全部共产党员，并由国民党中央派来的张健、何澄，阎锡山的骨干赵戴文、南桂馨、温寿泉、孔繁蔚，以及原省党部委员苗培成、韩克温、李冠洋、郭树荣、杨笑天等11人，组成党务改组委员会，苗培成、韩克温、郭树荣等为常务委员。接着，由这个常务委员会提出了一个通缉共产党员的名单，并颁发通缉令，在山西的“清党”活动即此开始。这次被公开通缉的有王瀛、崔锄人、王鸿钧、薄书存、邓国栋、赵秉彝、颜昌杰、孙真如、朱志翰、王箴、杨高梧、彭兆泰等共产党员和革命分子32人。
武汉的汪精卫政府于1927年7月15日发动政变，开始在武汉大肆搜捕共产党人，国民党宁汉双方在蒋介石下野，汪精卫反共的契机下达成一致，从而结束了第一次国共合作后，阎锡山进一步加快了在山西“清党”的步伐。在阎锡山的支持下，苗培成等人不仅调动军警封闭了共产党领导的太原总工会和太原兵工厂工会，而且在省立一中、国民师范、进山中学等共产党活动的中心，通过学生中的国民党右派分子和便衣警察告密、侦察，对有共产党嫌疑的学生开会斗争，殴打辱骂，开除学籍，甚至逮捕拘留。省立一中因被视为“共产党的巢穴”，还在校门口架起了机枪，恐吓进步学生。由于“5·9”事件后，中共山西省委对争取阎锡山站在革命方面还没有完全失望，中共打入国民党省党部做情报工作的周凉云（张晔）发现了一份“清共”名单，立即报送省委，得到这一情报，中共山西省委提高了警惕，采取了规避措施，所以，“清党”开始后，“清党委员会”没有捕到主要通缉对象，于是，就从中共外围入手，单在太原市受迫害的就有100余人，但是，“清党委员会”对“清党”一直未从放松。“7·15”事变后，时在武汉向中央汇报工作的王瀛，受中共中央负责人瞿秋白指示，回山西整顿工作。8月下旬，王瀛与其妻朱志翰一路到达北平，因正太铁路不通车，即改乘京绥线火车，经张家口到大同，当其坐马车返太原时，被国民党特务跟踪，途经崞县时，被当地警察逮捕，押回太原，审讯中，面对种种酷刑，王瀛坚贞不屈，最后以“扰乱地方治安罪”于1927年10月11日在太原被杀害。朱志翰因有身孕，幸免死刑，改判无期徒刑，直至抗战开始，才被中共党组织营救出狱。
在“清党”中，阎锡山不仅继续污蔑共产党，说什么，自国民党活动以来，“社会上怨声载道，是岂救国救民之三民主义所应招来者乎？皆仿效共产党挑拨阶级斗争手段所致也”，而且提出了“清其法”重于“清其人”的做法。他说：“惟自本党容共以来，共产党之革命方法，公然侵入本党者不少。喊叫的口号，实施的行为，多陷于共产化。划分阶级，挑拨争斗，诚认为招兵良法。本党党员不知不觉中，亦仿效之。此实本党之大危险。亦民族残杀之弊端。今日清党，实为本党之紧要工作。鄙党清其人，尤须清其法。若清其人而效其法，则共产党员得以反共之口号，潜伏于国民党旗帜之下，做共产党之工作。且故意为本党得罪社会，必使国民党三字不容于中国后而已，……深愿本党于此竭力清党之际，确定本党行为之界限 ，恢复被共产党已失之人心，保存本党在中国存在之基础，党国幸甚！”（《阎锡山年谱》（二），第777页）。阎锡山这个“清其法”的思想，在他1932年第二次上台后，为了全面反共、防共，于提出“军事防共”的同时，又提出了“政治防共”和“思想防共”的思想，可以说后两者正是其“清其法”思想的发展。在这方面，阎锡山真可谓见识非凡，非同一般，不愧为反共老手，比起蒋介石等一味“军事剿共”来，确实要毒辣得多。