关于张东荪参加酝酿组织中国共产党的情况，周佛海在《扶桑笈影溯当年》中回忆说：1920年夏，“张东荪告诉我，陈仲甫（独秀）要见我。仲甫本是北大教授，主办《新青年》鼓吹新思想，为当时的当局所忌，所以弃职来沪，《新青年》也迁沪出版。有一天，我和张东荪、沈雁冰，去环龙路渔阳里二号，去访仲甫。当时有第三国际远东代表俄人维丁斯基在座。维丁斯基当时讲话的大意是：‘中国现在关于新思想的潮流，虽然澎湃，但是第一、太复杂，有工团主义，有社会民主主义，有基尔特社会主义，五花八门，没有一个主流，使思想界成为混乱局势；第二、没有组织，做文章、说空话的人多，实际行动，一点没有。这样决不能推动中国的革命。’”所以，维丁斯基“希望我们组织‘中国共产党’”。“当天讨论，没有结果，东荪是不赞成的，所以以后的会议，他都没有参加。我和雁冰是赞成的。经了几次会商之后，便决定组织起来。”在《我逃出了赤都武汉》一文中，周佛海又回忆说：当时，张东荪约他一起面晤陈独秀等人，“当时同他（指张东荪棗引者）到环龙路渔阳里二号晤陈，这是我会见陈独秀的第一次。当时谈话的人，除我及张、陈二人外，还有沈雁冰（即茅盾）和第三国际代表吴庭斯基及翻译杨明斋等。”“谈话时，吴庭斯基主张中国即刻组织共产党，张东荪似不赞成，他和沈未发言。后来陈独秀又约我谈话，说上海方面有邵力子、沈玄庐、陈望道、李汉俊等人，均主张即刻组织，请我加入，我便答应了。”
后来，张东荪在回忆自己参加中国共产党的筹建工作时说：“在民国十三年光景，我和陈独秀先生来往甚多，彼时他们虽明知我是赞成社会主义，但在组织共产党的时候却不敢来约我，因为他们亦未尝不知我反对在这样工业未发达的中国鼓动阶级斗争的罢工与怠工。所以我始终是一个‘非党派者’。”
张东荪虽然参加了中国共产党的发起工作，但由于他认为中国根本就不具备建立无产阶级政党的经济和阶级基础，所以反对组织共产党；他虽然宣传和介绍社会主义，但根本反对在目前便实行社会主义运动，所以与陈独秀等马克思主义者在社会主义问题上的分歧很突出地暴露出来了。这样，张东荪很快便退出了上海共产主义小组的筹备工作，继续鼓吹其“温和型”的社会主义，从而加剧了与马克思主义者的思想冲突。
内地旅游得“教训”，引发社会主义论战
张东荪退出了中国共产党的筹建工作，本已引起了那些倾向马克思主义的朋友们的不满，也表明张东荪与陈独秀等马克思主义者间关于社会主义的理解上有着巨大的分歧。这种分歧，到1920年下半年达到白热化，终于爆发了影响巨大、意义深远的“社会主义论战”。
1920年10月，英国著名哲学家罗素应讲学社的邀请来华演讲，张东荪负责接待。他对罗素来华抱有极大的期望，希望倾向温和的社会主义的罗素能够为中国指出一条光明的出路。继陪同罗素到杭州、南京等地游历和演讲后，按照预先的计划，张东荪与杨端六等人又亲自陪同罗素到湖南演讲。湖南经济的落后、官吏的横行等现实，给张东荪留下了非常深刻的印象。11月初，当张东荪回到上海后，立即在《时事新报》上发表《由内地旅行而得之又一教训》的时评。
张东荪根据他到内地的实际观察，认为“中国的唯一病症就是贫乏，中国真穷到极点了”，“中国人大多数都未经历过人的生活之滋味。”这样，中国所要努力的方向，自然“当在另一个地方”，即应该是“使中国人从来未过过人的生活的，都得着人的生活，而不是欧美现成的甚么社会主义、甚么国家主义、甚么无政府主义、甚么多数派主义等等”。他引述了罗素、舒新城和陈筑山对中国问题的意见和感想后说出了自己的看法：“救中国只有一条路，一言以蔽之，就是增加富力。而增加富力就是开发实业。”这是张东荪通过内地旅行而得出的“很切实的”教训。故此，他劝告那些倾心于宣传社会主义者不要好高骛远，而应把重心放在实际上。
救中国的道路不是“空谈主义”，而是“开发实业”、“增加富力”，这既是张东荪自己得到的宝贵教训，是他对自己过去大讲社会主义的自我批评和忏悔；同时，也是对当时积极宣传社会主义学说的人们的忠告。这篇小文，表明张东荪的思想突然发生了转折，由大谈社会主义变为攻击社会主义，由大力宣传社会主义一下子变为发展实业。尽管从张东荪思想发展的情况来看，张东荪提出这样的意见是顺理成章的，但如此公开地批评社会主义宣传活动，是那些正在积极为成立中国共产党进行筹备的马克思主义者所不能接受的。他们一致认为：张东荪的思想后退了，应该给予坚决的批评。更让社会主义者恼火的是，张东荪一度是高谈社会主义的人，现在突然不仅不谈了，反而认为谈社会主义是错误的，并批评社会主义者所进行的宣传工作，这是他们不能容忍的。于是，张东荪的文章刚发表，便受到马克思主义者的猛烈批评。
11月7日，李达便署名“江春”，在《民国日报》副刊《觉悟》上发表《张东荪现原形》，斥责张东荪是个“无主义无定见的人”，只会“学时髦”，“说几句言不由衷的滑头话”。该文充满了对张东荪态度转变的愤恨和不满，对张东荪所谓增加富力、开发实业、使大家都过上人的生活的观点进行批评。但并没有太多的理论色彩，只是表明了马克思主义者的批评态度而已。
同日，陈望道在《觉悟》上发表《评东荪君底〈又一教训〉》，将张东荪的《我们为甚么要讲社会主义》与《又一教训》作比较，用前者来批评后者，对张东荪提出了一连串的质疑，认为张东荪的思想“转向”了，而《由内地旅行而得之又一教训》的时评“就是转向的宣言”。他与李达一样，只是对张东荪提出了批评和质问，即“两君有一相同点，即都根据东荪君平日主张社会主义的论文施以反诘，”还没有从正面提出自己的意见。
次日，邵力子在《觉悟》上发表《再评东荪君〈又一教训〉》，除了批评张东荪的观点外，明确提出了马克思主义者与张东荪分歧的关键问题：“中国贫乏的原因在那里？谈论甚么社会主义等是否足为开发实业的障碍？”他不反对张东荪所说的“增加富力”与“开发实业”，而且也认为这是必要的，但认为问题的关键不在是否增加富力和开发实业，而在用什么方法去开发实业。他说：“因为‘增加富力，开发实业’，在谈论社会主义的人，不但从来没有反对过，并且也认为必要；不但认为救现在的中国应当如此，并且认为谋人类幸福本须如此。社会主义者和资本主义者不同的地方，只在于用什么方法去增加富力、开发实业，而不在应否增加富力、开发实业的问题。现在社会主义者，都能预想到社会主义实行以后，工业怎样普遍发展的情形，并且深信，要在社会主义下面的开发实业，方才能使一般人都得着‘人的生活’。”邵力子主张用社会主义的方法来开发实业。这样，便开始接触了问题的实质。
张东荪在《由内地旅行而得之又一教训》中提出了“开发实业”的问题，但并没有明确指出开发实业的方法。由于他不主张谈社会主义、国家主义等等，便使马克思主义者误认为他是不主张用社会主义的方法。因为没有提出用社会主义的方法，实际上是仍用资本主义的方法。陈望道在《评东荪君底〈又一教训〉》中，已经提出了此质疑：“东荪君！你现在排斥一切社会主义……却想‘开发实业’。你所谓‘开发实业’，难道想用‘资本主义’吗？你以为‘救中国只有一条路’，难道你居然认定‘资本主义’作唯一的路吗？”而邵力子则对用资本主义的方法开发实业的观点进行了更激烈的批评，说明只有社会主义方法开发实业后，才能使大家都能过上人的生活，否则只能造成更多的罪恶。他说：“东荪君难道也认定了社会主义便不能开发实业么？中国穷到极点，原因在那里，是由于谈了社会主义的缘故么？振兴实业的话，也不知使了多少年，东荪君不去推求所以至今贫乏的原因，偏要归罪于一二年来谈论主义的人么？中国除了开发实业以外无以自立，这是小学生也知道的，用不着引用罗素先生底话。……现在中国穷到极点，和谈论社会主义毫不相干，谈论社会主义者也正急欲救穷；这种很浅显的道理，我敢断定东荪君也是很清楚的。”
李、陈、邵三人对张东荪的批评，表明了马克思主义者的立场，使他们与张东荪关于社会主义问题的分歧公开化。他们所以要对张东荪进行批评，旨在坚持社会主义宣传的必要性，坚持只有社会主义能够救中国。不仅将来需要社会主义，而且现在照样需要社会主义。但公正地说，他们对张东荪的批评有失公允。事实上，张东荪此时并未反对社会主义道路，更没有排斥和诅咒社会主义。
张东荪在受到李达等人的批评后不久，便著《大家须切记罗素先生给我们的忠告》，一则补充说明他在上文中的意见，二则作为对李、陈、邵等人的答复。张东荪引述了罗素在“讲学会”的答辞中谈到的有关中国问题的话，“中国第一宜讲教育，使无知识的有知识，使有知识的更进一层。第二是开发实业救济物质生活。至于社会主义不妨迟迟。”根据罗素的话，张东荪提出了自己的意见：“我对于教育与实业两层自然是完全赞同，至于劳农主义，我以为不患他不实现，而只患他实现得太早，故很以罗素先生的话为然。”他承认自己的主张没有新意，但这种主张“贵在实行”，他呼吁大家应该切记罗素的话“而要去切实的实行”。可见，张东荪并没有从正面反对社会主义，而是强调先发展教育和实业，至于社会主义的理想，则不妨迟迟。
张东荪的时评发表后，也立即引起了陈独秀的关注，陈独秀致函张东荪，提出了两个问题：“（一）社会的工业有没有成立的可能性？（二）先生所谓在通商口岸与都会理得着‘人的生活’的，到底有多少人，这班人属何阶级，他们是否掠夺他人之劳力与得此较好的生活？”1920年12月，陈独秀在《新青年》8卷4号上开辟了“关于社会主义的讨论”专栏，刊出了讨论社会主义的文章和通信13篇。除了上述4篇外，还有《正报》记者爱世先生的《“人的生活”训》，陈独秀致罗素先生的信，张东荪《答高践四书》，张东荪的《长期忍耐》，张东荪的《再答颂华兄》、张东荪的《我们与他们》、杨端六的《与罗素的谈话》、张东荪致陈独秀的信，以及陈独秀复张东荪底信等9篇。其中以陈独秀与张东荪间的书信最重要。
张东荪在致陈独秀信中，发挥了他在《又一教训》上的观点，认为中国的急务是发展实业，第一次公开提出了增加富力的方法：“我以为中国现在贫困到极点了，第一个急务就是增加富力。至于增加富力的方法，或用Cooperation或用资本主义，不妨各据当地的情势而定。在这种现状之下，中央政府与地方政府（省与县）绝对不会变成强有力；政府而不能强有力，则劳农主义永远不能实行。所以我们不能拿欧洲何种现成的（三字下有圆点）主义来无条件地应用。”他将自己的意见归纳为四点：“一、我不相信以地域如此广大交通如此不便之中国，能实行一种主义。我以为中国以后总不外乎地方自决。二、勿论地方如何自决，而以中国民族的根性与时代的趋势，决不会产生强有力的地方政府。无强有力的政府，则劳农主义不能全部实行。三、中国物力太穷乏，而穷乏的原因不是纯由于资本主义。故救穷乏也不当专在打破资本主义一方面下工夫。四、但我深信外国资本主义是致中国贫乏的唯一原因。故倒外国资本主义是必要的。若以倒国内资本主义而为倒外国资本主义之手段，其间是否有密切的关系，我尚未敢断言。”
张东荪回避了陈独秀提出的两点问题，所以，陈独秀颇不满意：“先生来信对于我质问底这两要点没有回答一字，却把论点移到地方自决、物力穷乏、外国资本主义上去，我实在有点失望。”实际上张东荪认为，中国并不排除用资本主义的方法发展实业的可能，宣传社会主义，从事社会主义运动，打倒国际资本主义，并不一定要打倒中国幼稚的资本主义。
陈独秀在回复张东荪信中，断定张东荪与杨端六、罗素一样，也是持只有资本主义才能发展中国实业观点：“但杨端六先生、罗素先生虽然不相信资本主义完全是好，同时又觉得政府及劳动阶级都不可靠，结果仍归到资本家，仍只有希望资本家来开发实业，好补救国民一般的贫困；而且不经过资本主义的阶级，不能实现社会主义。就是先生底意见也是如此。”针对张东荪提出的这个关键问题，陈独秀提出了自己的意见：“如果说中国贫穷极了，非增加富力不可，我们不反对这话；如果说增加富力非开发实业不可，我们也不反对这话；如果说开发实业非资本不可，且非资本集中不可，我们不但不反对这话而且端端赞成；但如果说开发实业非资本主义不可，集中资本非资本家不可，我们便未免发笑。”因为资本和资本家是不同的。他向张东荪提出了三点质问，（一）同是中国人，何以政府及劳动阶级都不可靠，只有资本家可靠呢？（二）有资本主义渐渐发展国民的经济及改良劳动者的境遇以达到社会主义，这种方法在英、法、德、美文化已经开发政治经济独立的国家或者可以这样办，像中国这样知识幼稚的民族，外面政治及经济的侵略又一天紧迫似一天，若不取急进的Revolution，时间上是否容我们渐进的Evolution呢？（三）既不赞成用革命手段集中资本来实行社会主义的生产制，而中国的资本家“向有不愿以财产充资本之习惯”，那么“先生等所迷信的资本主义，仍是一个空中楼阁；而先生等又不欢迎外国资本主义，将以何法来开发中国底实业呢？”很显然，这三点是张东荪与陈独秀为代表的马克思主义者在“社会主义论战”中激烈争论的焦点问题，也是张东荪与陈独秀等人思想分歧的关键所在：“却是我们重要的争点。”
陈独秀对这些问题，提出了马克思主义的见解：中国可以通过社会主义的方式开发实业，根本不可能用资本主义方式发展中国实业。他说：“所谓中国资本家都直接或间接是外国资本家底买办，只能够帮着外国资本家来掠夺中国人，只望他们发达起来能够抵制外国资本家，能够保全中国独立，再过一两世纪也没有希望。”在致罗素的信中，陈独秀又说：“我个人的意见，以为资本主义虽然在欧洲、美洲、日本也能够发达教育及工业，同时却把欧美、日本之社会弄成贪鄙欺诈刻薄，可以良心了；而且过去的大战争及将来的经济的大革命都是资本主义之产物，这是人人都知道的。幸而我们中国才创造教育、工业，在资本制度还未发达的时候，正好用社会主义来发展教育及工业，免得走欧美、日本底错路。”