总工会成立大会决定由杨德甫、凌楚藩等组成总工会成立大会的办事小组，全面开展会前的各项准备工作。
各地工人通过各种渠道知道了京汉铁路总工会即将成立的消息，无不欢欣鼓舞。
会议所在地郑州也呈现出一片节日的气氛。为筹备好会议，在郑州分工会委员长高斌的领导下，分工会分别成立了会务组、生活组、宣传组和纠察队，担负起总工会成立大会的会务和接待工作。郑州的五洲大旅馆、大金台、万年春、福昌旅馆和第一宾馆被租赁下来，作为与会代表和来宾的下榻场所，还在饭店包定了伙食。为了便于工人列席听讲，把郑州最大的戏园——普乐园装饰一新。郑州车站也搭起了松柏彩门，欢迎代表与来宾光临大会。此外，还组织工人和家属扎制灯笼，为总工会成立当晚举行提灯会做好准备。
军阀吴佩孚对总工会的成立忧心忡忡。为了应对总工会成立之后出现的罢工运动，吴佩孚下令给驻在郑州的第十四师师长靳云鹗下达了命令，要他对京汉铁路总工会成立大会“预为防范，设法制止”。靳云鹗要郑州警察局长黄殿辰执行这一计划。
1月底，全国各地代表陆续进入郑州。北方各地的数十名代表由北段长辛店车务处发了免费车票就地乘车，南方各地代表数百人先集中到汉口，再由南段江岸车辆处挂专车两辆北上。
1月28日，就在各地代表陆续抵达郑州的关键时刻，郑州警察局局长黄殿辰来到总工会筹备会，告诉总工会筹备处负责人说：“吴巡帅（吴佩孚）说，尔等敢在军事区域擅自开会，实属胆大妄为，业已命令靳师长、张师长严加取缔，否则必以武力对待。”总工会筹备处负责人听此意外消息，非常生气，立即据理力争。总工会筹备会杨德甫说：“我们这次开会，已经呈报路局批准，若要禁止开会，何以事先并不拒绝。现在，突然禁止开会，我们如何交待？”黄殿辰一时理屈词穷，无言以对，最后掏出靳云鹗、张福来给他的命令，恫吓说：“这是吴巡帅致靳总司令制止你们开会的电令。你们若不服从，我只好遵照吴巡帅的命令从事。”交涉一直持续到30日，仍然没有达成一致，一方坚持要如期开会，一方坚持禁止开会，双方僵持不下。
30日夜，林育南、陈潭秋、李求实、施洋、李汉俊、许白昊等率领的武汉地区各工团，包括粤汉铁路总工会、汉冶萍工会、汉阳钢铁厂工会及粤汉铁路徐家棚分工会等30余个工团、各报刊记者、学生联合会等单位的代表共160余人，加上军乐队，斗志昂扬地从江岸乘车向郑州进发。31日下午，林育南、陈潭秋等人到达郑州。他们一下车，就受到郑州铁路系统工人代表的热烈欢迎。随后，大会筹备处将他们送到郑州福昌、亚洲大旅馆休息。
为了对付总工会的成立和即将到来的工人罢工运动，吴佩孚也通过不同的渠道，秘密了解工人的动向，了解京汉铁路工人的反应，收集代表和来宾的态度。当他得知广大工人和代表、来宾不为所动，要如期举行总工会成立大会时，便采用拖延和欺骗手段。1月30日，吴佩孚电召总工会筹委会代表去洛阳谈判，目的是把筹委会代表骗到洛阳。他的计划是：先用办法拖住总工会的谈判代表，如果谈判使代表们不能及时返回郑州，总工会成立大会便不能如期举行。筹备处接到吴佩孚的电报后，立即派筹委会委员长杨德甫，副委员长史文彬、凌楚藩，秘书长李震瀛和郑州分工会秘书主任李焕章等5人为谈判代表，于当日乘车赴洛阳。但是，5位代表到洛阳后，吴佩孚故意推辞不见，先说晚上在电话中交谈；到了晚上又说于明日上午8时再谈；第2天早晨，代表见到的不是吴佩孚，而是该署副官长徐文焕和政务处长白坚武，这两人转述了吴佩孚不允许工人开会的意见，并对代表们进行恐吓。代表们坚持要见吴佩孚，并说，若是见不到吴佩孚，就直接返回郑州，召开总工会成立大会。最后，吴佩孚万般无奈之下接见了代表们。他对代表说：“你们工人的事，我没有不赞成的。你们想，什么事我不帮助你们？不过，郑州是个军事区域，岂能开会？你们不开会不行吗？……你们说开会没什么，我亦知道，不过——你们若是非要开会不可，我可没有办法了……”代表们立即进行了反驳：（1）根据约法，人民有集会结社的自由。（2）“保护劳工”的通电是吴佩孚的“四大政治主张”之一，不应出尔反尔。（3）大会筹备已久，并经铁路管理局局长同意，各地代表已齐集郑州，召开大会势在必开。吴佩孚见工人的反驳理由很充分，没有辩驳的余地，便借机溜走了。
这次双方接谈约3个小时，最后无果而终。为防不测，代表们决定当日下午就回郑州，商讨应变策略。31日晚，代表们一回到郑州，总工会筹备委员会立即召开紧急会议。会议首先由谈判代表汇报同吴佩孚谈判的情况。大家听后，对当局的欺骗手段十分愤慨，并各抒己见，提出应变之法。据参加领导这次大罢工的包惠僧回忆说，当时，工人们的意见有三种。第一种认为成立大会的方式可以改变：节目少一点，时间短一点，早开早散，以便息事宁人。第二种认为交涉还没有办法，不如改期开会，再派代表分别去请愿和交涉。第三种认为工人要组织工会，就是武装自己，求得解放，是要付出相当代价的；吴佩孚这些人，都是压迫工人的人，是工人解放事业的障碍，如果工人成立工会都要得到他们的批准，那只有不开了。因此，要求坚持斗争，如期开会。大会经过讨论，一致同意第三种意见。于是，京汉铁路总工会成立大会，于原定的2月1日在普乐园举行了。
京汉铁路共有16个分工会组织，按照工会章程规定，共推选65名代表参加总工会成立大会。由于长辛店、江岸和郑州分工会会员人数较多，按章程规定选出的代表也较多。16个分工会的委员长都被选举为代表。各分工会的出席代表主要有：长辛店分工会：史文彬、张德惠、陈励懋、洪永福、王俊、吴春溪和崔玉春；江岸分工会：杨德府、林祥谦、姜肇基、张濂光、罗海臣、朱蓝田、曾玉良和汪银畴；郑州分工会：高斌、刘文松、凌楚藩、李焕章、姜海士、范福海、王宗培和曾玉隆；广水分工会：朱佐臣、周伊三；信阳分工会：胡传道、徐宽、邵允铨和熊绍乐；驻马店分工会：何继谋；郾城分工会：卢存善、周少贞；许州分工会：田新科、潘希贤和刘相臣；黄河南北岸分工会：韩松亭、吴幼宾、李得春和徐桂林；新乡分工会：杜石卿、杜秀臣；彰德分工会：戴清屏、齐富贵、赵光前和姚佐唐；顺德分工会：佘荣辉、王相全和王珊；正定分工会：康景星、丁桂山和张保和；保定分工会：何立泉、白月耀；高碑店分工会：陈作霖；琉璃河分工会：周永福。
“由于到会代表人数之多和代表单位广泛，使这次大会在性质上无异是北方各地工会共同举行的小型劳动大会及其议程的范围也不仅限于讨论京汉铁路工会的事项。”
中共中央及其有关组织对这次大会非常重视，为了加强对铁路工人的领导，专门派出中共中央执行委员、中央特派员张特立，中共武汉区委书记陈潭秋，中国劳动组合书记部总部副主任罗章龙，中共北平区委执行委员包惠僧，中国劳动组合书记部武汉分部主任林育南，以及李震瀛、项德隆、许白昊等指导工人的罢工运动。
2月1日清晨，京汉铁路各站区和兄弟铁路的代表430多人以及郑州铁路工人1000多人抬着各地赠送的匾额整队向会场进发。