北京的共产党早期组织是在李大钊的直接指导和筹划下成立的。1920年3月成立的北京大学马克思学说研究会的成员，大多是五四运动中的骨干和积极分子。这个研究会通过收集宣传马克思主义的书籍、举办座谈讨论、组织出版工作等，把活动开展得有声有色，其成员也发展很快。它既是中国最早学习和研究马克思主义的团体，也为建党作了重要准备。李大钊在介绍维经斯基一行去上海后，与陈独秀通信相商，一致认为需要加快建党的进程，并同时在北方和南方从事建党的筹备工作。后人所说的“南陈北李，相约建党”，形象地说明了他们在建党过程中所起的倡导、推动和组织作用。

为了了解工人群众的生活，唤起工人的觉醒，积聚工人阶级的力量，早在1920年1月，在李大钊的号召和组织下，北京一些先进知识分子就到人力车工人居住区进行调查。工人的悲惨生活状况使他们大为震惊。北京《晨报》报道说：“调查回来，大家相顾失色，太息不止，都现出一种极伤心且不平的样子。”[2]同年5月1日，李大钊在北京大学召开的有500多工友和学生参加的纪念国际劳动节会上，发表了热情洋溢的演说。他称赞俄国苏维埃政府取得的成就，宣传八小时工作制，并主张把“纪念五一节当作我们引路的一盏明灯”。何孟雄等人走上街头，分乘两辆汽车，挥舞写有“劳工神圣”、“五一节万岁”、“资本家的末日”等口号的旗帜，散发《五月一日北京劳工宣言》等小册子和传单。这一天，邓中夏等还赶到北京郊区长辛店，在工人中进行宣传和联系工作。

同时，李大钊等人还积极联络北京、天津等地的先进分子，努力促成进步团体的联合。1920年8月16日，少年中国学会、人道社、曙光社、青年互助团及天津觉悟社的代表20余人，在北京陶然亭举行茶话会。李大钊、周恩来、邓颖超、张申府在会上发言。李大钊认为各团体有表明本会主义的必要。他指出：各团体要有一个正确的主义，主义不明，对内既不足以齐一，对外尤不足以与其他组织进行联合的行动。会议决定五个团体组合成“改造联盟”，并制定联盟的宣言和约章，促进各进步团体的协调和统一。

经过一系列准备工作，北京的共产党早期组织于1920年10月在北京大学图书馆李大钊的办公室正式成立。当时取名为“共产党小组”。党组织的最初成员有李大钊、张申府、张国焘三人。不久，张申府经上海去法国。党组织吸收一批新的成员。内部分工是：李大钊负总责，并主持马克思学说研究会；张国焘担任职工运动的发动工作；黄凌霜、陈德荣编辑并发行《劳动音》周刊；罗章龙、刘仁静等负责建立社会主义青年团组织。11月，北京党组织内发生意见分歧，并影响到实际工作的开展。黄凌霜等无政府主义者主张自由的联合，反对党的纪律和职务分工。他们认为政府是一切罪恶的根源，反对建立无产阶级专政的政府。经过争论，无政府主义者退出了党组织。

1920年底，北京党组织召开会议，决定成立“共产党北京支部”，由李大钊任书记，张国焘负责组织工作，罗章龙负责宣传工作。随后，又陆续发展一些成员。到1921年7月，北京党组织的成员有李大钊、张国焘、邓中夏、罗章龙、刘仁静、高君宇、缪伯英、何孟雄、范鸿?隆⒄盘?雷、宋介、李梅羹、陈德荣等。他们大多是北京大学的进步师生。