京汉铁路大罢工的决定是在紧急情况下作出的，一切准备工作都要从头做起，而且必须在3天内完成。因此，各分会和各地各路代表在返回途中，都已经开始考虑本地罢工的准备工作了。各分会代表从郑州回到本地之后，立即向本地工人们报告了吴佩孚武力干涉总工会成立的暴行，传达了总工会关于举行全路总同盟罢工的决议。工人既对当局的残酷镇压行为愤怒万分，又对总工会实行总同盟罢工的决议欢欣鼓舞，一致响应总工会的号召，做好了举行总同盟罢工的准备。
从2月2日起，在1000多公里长的京汉线上，即开始紧张地进行罢工前的准备。16个分工会都召开了会议，成立了临时罢工委员会，健全了纠察团（队），有的还成立了敢死队，并赶制铁棍、齐眉棍以及月牙斧等武器。
2月3日，总工会委员长杨德甫、秘书长李震瀛等总工会领导成员开始在江岸办公。为了维持罢工秩序，总工会从纠察团中挑选了精壮的工人组成敢死队，负责保卫和维持治安。并成立了调查队负责打探敌情，监视敌人的动向。还成立了宣传队，负责罢工的宣传工作，争取各阶层人民群众对工人罢工运动的同情和支持。
为动员更多的群众支持、声援京汉路工人的总同盟罢工，林育南等人连夜召集湖北全省工团联合会成员开紧急会议，研究了声援、支持京汉铁路工人罢工措施。经过认真讨论和研究，最终形成了四条具体措施：（1）以湖北省工团联合会的名义发一宣言，敦促京汉路当局尽快解决问题；（2）联合各工团举行游行大示威；（3）联络全国劳动界总罢工；（4）2月6日在江岸召开武汉工人声援京汉铁路工人罢工斗争的群众大会。
会后，他除了主持起草《湖北全省工团联合会援助京汉铁路总工会全体罢工紧急宣言》外，还让《真报》出版了《号外》，并派工人四处散发，向社会宣传罢工的起因和要达到的目的。
很快，总工会的罢工宣言、口号、传单贴满了武汉三镇的工厂、码头、电线杆及各主要交通路口。
当日晚上，总工会罢工委员会通过火车、电报、电话和巡道工传达等方法，按原定计划将罢工命令下达到每个分工会。并将《京汉铁路总工会全体工人罢工宣言》和《敬告本路司令》、《敬告旅客》等传单随同罢工命令一起下达，在各站、厂张贴，并送交武汉各大报纸发表。罢工宣言宣告：“为保障我们的人格，为争回我们的自由，……‘从本月4日正午起，京汉路全体一律罢工。’”最后列举了5项最低限度条件，表示不达到目的决不复工，并号召所有受军阀压迫的同胞们，“为争共同自由和利益，为打倒共同的仇人，大家联合起来。”此外，中国共产党领导工人运动的机关——中国劳动组合书记部，也及时地向全国各工会团体发出通电，将军阀吴佩孚武力摧毁京汉铁路总工会成立大会的罪行，京汉铁路工人大罢工是为争取自由而战的性质，通电全国工会组织。通电称：“此次郑州事变，不过初发其端。……军阀今日可施于京汉者，他日即可施于他处。如吾人今日饮泣吞声，不复与较，非为全国工会将悉受摧残，吾劳动界恐永无宁日，循至莽莽神州，尽变为军阀、官僚、游民出没之场”。要求“本阶级斗争之精神，切实援助”京汉铁路大罢工，作为全国工人阶级共同的政治斗争任务提了出来，标志着当时的中国工人运动已经从经济斗争上升为政治斗争。
在各项准备工作就绪后，到了2月4日，铁路当局依然拒不答复总工会提出的五项要求，于是京汉铁路总工会下令总罢工开始。
京汉铁路郑州段首先开始罢工。接着，长辛店也开始罢工。4日上午9点，汉口江岸分会委员长林祥谦正式下达罢工命令，工人拉响了汽笛。阵阵笛声，震动了长江两岸，响彻武汉上空。
林祥谦（1892—1923），福建闽侯人，二七大罢工领导人之一，中国工人阶级的杰出代表和中国工人运动的先驱者。1923年2月7日牺牲。
江岸地区是这次罢工的重点。在分工会委员长林祥谦下达罢工命令后，工人们立即行动起来。他们关掉电门、剪断电线、停转机器、熄灭锅炉、拆开水泵、隐藏机件，顿时人山人海地涌出厂门。纠察队员戴上袖章，按照事先的分工，站岗放哨，维持罢工秩序。调查团分头行动，刺探敌情。宣传队3人一队，5人一组到车站、码头散发传单，宣传工人罢工的意义。工人们的宣传活动和有组织的行动，引起了社会舆论的同情和支持。在郑州，罢工委员会负责人高斌下达罢工命令之后，机厂的10多台机车拉响了汽笛，工人们闻声立即关闸刹车、停电放水、中断通讯、熄炉灭火、拆埋机器。随后，工人们一齐拥向机厂煤台跟前，召开罢工誓师大会。会上，高斌号召郑州铁路工人万众一心，坚持到底，为实现罢工条件而斗争。工人们振臂高呼“打倒封建军阀”、“京汉铁路总工会万岁”等口号。同时，郑州分工会发出了《罢工宣言》和《敬告工友传单》，向全体工人说明：“我们因被军警压迫摧残，求全无法，是以出于全路一律停止做工，这是我们痛心的事！我们要万众一心，坚持到底，要谨守秩序，静候总工会解决。”
在长辛店，分工会委员长史文彬按照总工会规定的时间下达罢工命令之后，3000多名工人从机务大厂、机务小厂、火车房、车站、电报房一齐来到广场，召开罢工誓师大会。史文彬登上高台，大声喊道：“军阀破坏总工会成立大会，侵犯我们的自由，剥夺我们的权利，我们要与封建军阀宣战！不自由，毋宁死！不实现罢工条件，决不上工！”工人们也齐声高呼：“坚持罢工到底！不得总工会的命令决不复工！”会后，长辛店分工会给政府当局及全国各工团和社会各界发出两则通电。通电说明京汉铁路总工会被铁路当局诬告为不法团体，破坏总工会成立大会，侵犯与会代表人身自由等情况后，庄严宣告：“我们要争我们的自由，争我们的人格，我们与侵犯我们自由的人宣战！侵犯我们自由者，黄殿辰、赵继贤、冯沄三人而已，我们白不能与他甘休的。我们一切行动均听总工会指挥。请各界人士，伸张公理，为我们苦工人谋自由幸福，我京汉全体工人是感激不尽的了！”当日下午，工人纠察队拦截了6列旅客列车，宣传队员在向旅客解说罢工情由时，尽力设法帮助旅客解决困难“：男子则为代雇车马，妇女则延至工人家住宿，次日派人护送至京。当时社会人士对罢工工人均表好感。”
除江岸、郑州、长辛店3个工会之外，其余13个分工会也都同时举行了罢工，全路所有军车、客车、货车一律停驶，车站、火车房和工厂都停止了工作。亲身参加这次罢工者回忆当时的情景说：“总工会罢工令一下，京汉铁路的军运客车，一切都停驶了，没有一处例外，全路像条死长蛇一样，一动也不动了。”京汉铁路长达1000公里，工人20000多人，居然在3小时之内，有条不紊、无一例外地实现了全路总同盟罢工，这在中国工人运动的历史上是空前的有纪律、有组织的表现。铁路工人的特点是比较分散。为使各站分会形成一个紧密的整体、战斗组织和坚强的堡垒，需要采取一系列措施使工人团结起来，如正定车站，是当时京汉铁路的二等车站。除车站外，还有公务、机务、车务3个工段，共有员工1000多人。北起寨西店，南至内丘（包括石家庄），均属于正定分工会管辖，罢工开始后，纠察团在吴鼎昌、边庆臣正副团长率领下拦截了南来北往的列车，连山西督军阎锡山运军粮的列车也被拦在辖区内的新安村站。辖区内的各站工人除留下值班的外，全部由纠察团用机车接到正定车站，共1400人。工会庶务干部在票房后面搭起了大席棚，在里面升上火盆，实行集体食宿，俨然一支军队。信阳分工会也采取了类似的措施。
在党组织和总工会的领导下，罢工有秩序地进行。罢工工人向旅客散发传单，说明工人的自由权被摧残，不得已而罢工，取得旅客的同情和支持；向全国各界揭露吴佩孚等反动军阀的罪行。工人内部的组织也十分整齐严密，“因为全路工人自司机、升火，以至小工，无有不是工会会员的。各会员听命于各分会，各分会听命于总工会，秩序井然。维持秩序，则有全路各分会素有训练之纠察队；刺探消息，则有罢工期内各分会临时组织的调查队”。