1920年4月，俄共(布)远东局海参崴分局派维经斯基及其助手季托夫、谢列布里亚科夫，尔后派马马耶夫等来华，先在北京和李大钊、后去上海同陈独秀等进行联系，促进了中国共产党的创建。同时，中国革命者也试图与远东局建立联系。从5月开始，陈独秀写信给各个城市的革命者，并邀约李汉俊、俞秀松、施存统、陈公培等人多次商谈建党问题。整个建党活动是通过5月在上海成立的“共产国际东亚书记处”来进行指导的。8月，维经斯基在上海成立了包括维经斯基、陈独秀、李汉俊等5人组成的革命局。上海革命局下设出版、宣传报道和组织三个部。同时，陈独秀在上海建立了中国共产党的发起组。上海共产主义小组被公认为中心组，亦称上海中央局。从9月开始，着手做成立中国共产党代表大会的准备工作。10月，李大钊在北京建立了共产主义小组。接着，在陈独秀、李大钊的指导下，毛泽东、何叔衡、董必武、陈谭秋、王尽美、邓恩铭、谭平山等分别在湖南、湖北、山东、广东等地建立了共产主义小组和青年团的组织。与此同时，张申府、施存统等在法国和日本也建立了共产党小组。
各地共产主义小组建立以后，十分重视马列主义理论的宣传工作。1920年9月，上海党的发起组把《新青年》杂志改为党的理论刊物，开辟“俄罗斯研究”专栏，系统介绍十月革命的经验。11月7日，又创办了第一个党内刊物《共产党》月刊，这个刊物除了刊登马克思、列宁的一些重要著作外，还介绍共产国际和俄国共产党的建党经验，成为各地共产主义小组成员的重要读物。在黑暗的中国，它第一次发出了“共产党万岁”的战斗口号，高举起革命的火炬，照亮了中国无产阶级前进的方向。
1920年11月，中国共产党上海发起组在陈独秀主持下，制定了《中国共产党宣言》，以此作为建立组织、收纳党员的标准。同时加紧出版各种宣传马克思列宁主义的书刊，《共产党宣言》、《经济学研究导言》、《社会主义从空想到科学的发展》、《社会主义史》等相继出版。还出版了许多小册子和传单，如《一个士兵的故事》、《工人的对话》、《工会》、《共产党人是什么样的人》等。各地也出版了一批面向工人的通俗刊物，在上海有《劳动界》，北京有《劳动音》，广州有《劳动者》等。这些书刊对于传播马列主义，提高工人的阶级觉悟，起到了积极作用。在此基础上，各地共产主义小组积极深入工人群众，举办工人夜校，建立工会组织，进一步促进了马克思主义同工人运动的结合。
上海共产党发起组成立后，陈独秀担任书记。1920年12月，他到广州任广东省教育委员会委员长，党的书记由李汉俊代理。李汉俊接替陈独秀职务后，一方面主编《新青年》杂志，另一方面负责党的发起组的日常工作。他由于在党纲问题上同陈独秀的分歧，辞去代理书记的职务，由李达接替李汉俊的工作。
1921年3月以前，中国不仅还没有一个统一的共产主义组织，而且在北京、广州等许多地区又不得不同无政府主义者一起共事。“在这些共同组织中我们有自己的同志进行监督和领导，我们曾作过努力，要使这些组织变成纯粹的共产主义组织。然而后来我们确信，要继续同这些无政府主义分子一起合作是不可能的，因为他们已开始以共产主义组织的名义发表宣言，宣扬他们的宗旨和原则，而他们的宗旨和原则则与我们对共产主义的基本概念相矛盾。”
为了阐明共产党人的宗旨、原则和策略，为了把无政府主义分子从组织中清除出去，在俄共远东局和共产国际的建议和支持下，1921年3月召开了各地共产主义组织的代表会议。
这次会议发表了关于共产主义组织的宗旨和原则的《宣言》，并制定了临时性的《纲领》。这个《纲领》确定了共产主义组织的工作机构和工作计划，表明了共产主义组织对社会主义青年团、同业公会、行会、文化教育团体和军队的态度，也表明了共产党对工会的态度。
这次会议是一次“肃清无政府党的大会”，对于纯洁共产主义小组并在中国创建统一的共产主义组织，起了十分重要的作用。三月代表会议，实际上是中国共产党成立的一次预备会议，为一大的召开从思想上、政治上、组织上作了重要的准备。
