“为了工人大众的事业，各国人民必须一心一意，对付我们共同的敌人！”“我们要团结起来解放自己！”这是1864年9月28日，伦敦圣马丁教堂里工人们争相发言的热烈场面。
原来，这里正在举行集会，支援波兰人民反抗沙皇统治的斗争。会议大厅里挂满了许多国家的国旗。当时，也来出席大会的马克思看到这种景象非常高兴，他感觉到，必须全世界的工人无产者联合起来，组成工人联合组织，以便更好的开展工作。
这次大会就是英国工人联合法国工人而召开的，英法工人首先发言，鼓励倡导大家团结起来，共同斗争。这标志着工人运动已进入一个新的发展时期，建立国际工人组织的时机已经到来。
在马克思的支持下，各国工人共同要求，大会成立了“国际工人协会”即“第一国际”，还选举成立了其领导机构--中央委员会，后改称为“总委员会”，马克思当选为总委员会委员，担任德国通讯书记。大会委托马克思起草纲领和章程，在起草之前，还有一段不小的风波。本来，大会决定由总委员会领导起草纲领和章程，马克思因为身体不适而未能参加，这样，各国代表之间便产生了严重的分歧。
英国代表起草纲领时，把改善工人的地位放在第一位，要求工人阶级为了经济利益而斗争，而意大利代表则要求把意大利工人协会的章程写入第一国际的章程，甚至提出要成立一个以意大利人为首的“欧洲工人阶级中央政府”，这明显是偏袒于意大利的工人，会在第一国际中造成不同意见，甚至分裂。不管是英国或意大利代表，他们所提出的问题都是关于经济利益，而没有提到工人阶级所迫切要求的政治地位问题。而工人的政治利益才是最根本的利益，有了政治地位作基础，其他一切问题都可以解决。
德国代表看到这么多不同意见，便写信通知马克思，马克思接到信后，立刻意识到，这样下去会产生严重问题，会脱离组建第一国际的实质与意义。因此，10月18日，马克思抱病来参加会议。
总委员会又经过长时间激烈的争论，在10月20日作出最后决定，由马克思负责对文件作具体的修订。于是，马克思不顾身体不适，严肃认真地把所有文件进行审阅、修改。经过七天七夜的辛勤劳动，马克思于10月28日，向总委员会提交了修改后的文件。文件共有两份：《第一国际成立宣言》和《第一国际共同章程》。总委员会在紧接召开的全体会议上，一致通过了马克思修改后的《成立宣言》和《共同章程》。
《成立宣言》是第一国际的纲领性文件，它对国际工人运动的目标十分清楚，它说：“夺取政权已成为工人阶级的伟大使命。”国际工人阶级必须团结起来，组建一支强有力的队伍，只有如此，才能最终战胜资产阶级。工人阶级也只有团结在自己的组织里，才能促进国际工人运动的发展，赢得自身的解放。
第一国际成立之后，立刻组织各国工人开展运动，掀起了国际工人运动的高潮。例如1866年英国裁缝工人大罢工，1867年法国青铜工人大罢工，1868年日内瓦建筑工人大罢工等，这些斗争，在第一国际的大力支持下，都获得了胜利。第一国际在支持各国工人反对各国资产阶级，争取自己应有的权益的同时，也在同各种机会主义者作坚决。这些斗争主要有与普鲁东主义和巴枯宁主义的斗争。
普鲁东主义的代表人物是普鲁东，是一个无政府主义者的典型代表，他主张取消国家、取消政党，实现个人的绝对自由，不受任何拘束。普鲁东主义这种想法说透了，就是要求世上所有的人，肆意妄为。这种主张明显是不合实际，也是根本行不通的。但是，真是萝卜白菜，各有所爱，这种无政府主义思想居然在法国、西班牙、意大利等国家有不少信徒，不少人在为之鼓吹。
本来，普鲁东在世界各地捣乱，还没有发展起来，也就算了。可是，他居然找到了第一国际来捣乱，这就使第一国际的领导们不能视而不见了。
1864年秋，普鲁东趁人不注意，加入了第一国际，到1865年1月，他就死了。他虽然死了，可是，他的信徒却有不少也跟着地混进了第一国际，而且已经形成一股不小的势力，到处作怪。有时还尝试夺取第一国际的权力，用他们的无政府主义思想改变第一国际的性质。如1865年9月，第一国际代表会议在伦敦召开。会议刚一开始，就有不少人违反第一国际的纲领，当第一国际要组织工人斗争，他们说，那没有必要！各国有各国的情况，无法指导，更无法组织等。第一国际要援助波兰工人反对俄国沙皇统治，他们又说，那是波兰工人自己的事，第一国际无须去把这件小事列入议事日程等。
第一国际总委员会的委员以及第一国际的其他代表们感到诧异，为什么这些人专门和大多数代表们的意见相对抗？经过调查研究后，委员们知道了，这伙人都是法国第一国际支部派来的，他们都是普鲁东主义者。认清了他们的身份与目的，马克思对他们作了针锋相对的的驳斥。马克思指出，各地工人阶级的斗争，是第一国际总行动的一部分。第一国际纲领中指明了进行政治斗争的必要，不进行政治斗争，就无法赢得被压迫的无产阶级的彻底解放。政治斗争是第一国际的主要任务，今后依然要全力支持各国工人的政治斗争。至于支援波兰工人的斗争，实际上也是第一国际争取民族解放的主要任务中的一部分，第一国际就是要反对专制政府，反对剥削制度，求得被压迫者的彻底解放，实现人人平等的大同世界。
经过斗争，大会代表一致通过了支持波兰工人的决议。普鲁东主义者失败了。但象所有失败者一样，普鲁东主义者并不甘心，他们在会议上又提出了一个荒谬的问题。他们说，第一国际是工人组织，因此，应该全部由体力劳动者参加，不应该让脑力劳动者参加。他们这样说的目的，是想挤走马克思、恩格斯等人，因为他们都是知识分子。
马克思又痛斥了这种思想，指出拒绝一切知识分子就是不要知识作指导，那么，工人运动就会变成蛮干，结果注定是失败。在全体代表的支持下，普鲁东主义者张口结舌，无言以对，他们中的不少人灰溜溜的溜走了，另有不少人脱离普鲁东主义阵营，加入了第一国际这边。
第一国际所开展的第二个斗争，是与巴枯宁主义的斗争。巴枯宁也是一个无政府主义者，曾参加过奥地利1848年革命，但被捕后三次写信给俄国沙皇，奴颜卑膝地恳求政府饶恕。以后窜到英国。加入第一国际时，把这段不光荣的历史隐瞒了。
1868年10月，巴枯宁在日内瓦瞒着第一国际，组织了一个“社会主义民主同盟”组织，大肆宣传“废除国家”、“阶级平等”、“主张个人绝对自由”等无政府主义思想，还派人到意大利、西班牙、法国等去建立支部。巴枯宁这样做的目的是想虚张声势，提高自身的威望，最后夺取第一国际的领导权。
1868年12月，他还给马克思写了一封信，说了一大堆拍马屁的话，并希望马克思接受他的“社会主义民主同盟”所有成员，集体加入第一国际。马克思接到信后，立即觉察到巴枯宁的险恶用心，于是他代表第一国际总委员会给巴枯宁写了一封回信，告诉他，第一国际本身就是一个国际组织了，其内部不能再有一个国际组织。拒绝了巴枯宁的无理要求。
巴枯宁口头表示接受，并“解散”了“社会主义民主同盟”，但他却派遣心腹以个人身份，加入第一国际，妄图找机会作怪。机会终于来了，1869年，第一国际在巴塞尔召开代表大会，巴枯宁分子便伪造了许多证件，假冒代表，试图取得多数选票，排挤马克思及总委员会主要成员。马克思发现后，立刻予以斥责，并戳穿了他们的面具。这样，巴枯宁主义者的捣乱也以失败而结束。
第一国际在斗争中不断发展壮大，更加有力地团结各国工人，支持各国无产阶级的斗争，在世界各国的工人运动中，起到了巨大的帮助。