1920年8月，上海社会主义青年团正式成立。在其倡导下，全国各地在准备建党的同时大都建立了社会主义青年团。1922年5月5日至10日，中国社会主义青年团在广州召开第一次全国代表大会，大会通过了《中国社会主义青年团纲领》和《中国社会主义青年团章程》。
为迎接中国大革命高潮的到来，1925年1月26日，中国社会主义青年团在上海召开第三次全国代表大会，这次大会动员全体团员贯彻中共四大决议，积极发展青年学生运动，并决定将中国社会主义青年团改名为中国共产主义青年团。
自九一八事变后，日本又变本加厉将侵略魔爪伸向华北，中华民族处于生死存亡的危急关头。抗日救亡的形势和任务要求团结和组织最广大的青年参加到救亡运动与民主自由的斗争中来，反对日本帝国主义的侵略。
1936年11月10日，为了团结广大青年一致抗日，中共中央作出了《关于青年工作的决定》，决定把中国共产主义青年团组织改造为抗日救国的青年团体。根据中共中央决定的精神，各种青年抗日救国团体在北平和延安等地先后成立，并很快发展到全国各地。从中共中央作出改造共青团的决定至1946年，团组织中断了长达10年的时间，取而代之的是“中华民族解放先锋队”“青年救国会”“青年抗日先锋队”等各种抗日救国青年团体。
中国抗日战争胜利结束后，1946年1月中共中央致电华东局，要求派熟悉山东全省青年工作的同志向中央青委汇报工作。接电后，中共中央华东局决定山东省青联主席杜前、胶东青年工作负责人马仪、鲁中青年工作负责人李云洁、鲁南青年工作负责人李诚四人一道奔赴延安。经过短时间的调查准备后，2月，杜前、李云洁、李诚三人离开华东局和新四军军部驻地临沂，穿越敌顽封锁线于5月5日抵达延安。马仪因路途受阻，没有按时到达临沂，则搭乘军事调停执行部的飞机经北京去延安。赴延安沿途，杜前、李云洁、李诚发现不少解放区青年救国会和青联徒有虚名，基本处于松懈和取消状态，不能满足青年积极分子的要求。到延安后，他们向中央青委汇报了山东的青年工作，同时也反映了途中了解到的情况。中央青委及时将此报告党中央分管青年工作的中共中央书记处书记任弼时同志。经过认真思考后，任弼时发出了重建青年团的倡议：“现在，你们可以再研究一下，看是否可以建立青年团”。
遵照任弼时的指示，中共中央青委组织山东、陕甘宁边区以及其他解放区来延安汇报工作的青年干部结合抗战胜利后青年组织、青年活动的现状和党对青年工作的要求，以及重建青年团的必要性和条件，开展了一个半月广泛而深入的调查研究和热烈讨论。大家一致认为，青救会不能适应新形势发展的要求，在解放区建立一个新式的青年积极分子参加的青年团组织是完全必要的。同年6月27日，中央青委把调查研究和讨论的情况加以整理，起草了《关于成立新民主主义青年团的建议(草案)》，提交中央书记处研究。中共中央书记处于1946年8月26日在任弼时的主持下举行座谈会，书记处书记朱德、政治局委员康生、中央委员饶漱石、书记处秘书胡乔木、中央青委黄若墩、何启君和山东青年工作者杜前、马仪、李云洁、李诚以及陕甘宁边区青年工作负责人等参加，就建团的指导思想、团的性质、任务和名称、工作方法、党团关系等进行了讨论。任弼时在总结发言中提出，全国解放区共有两千万青年，其中有四百万左右积极分子，看来还是组织起来好。关于建团的办法，他主张由下而上、典型示范，先从工作基础好的地区做起，逐步推广。
9月13日，任弼时再次主持召开座谈会，讨论建立青年团的问题。当时，除毛泽东、刘少奇、周恩来外，在延安的中央书记处书记、政治局委员、中央委员和候补中央委员都出席了会议。会上，任弼时进一步谈到了如何建青年团的问题。他说：“过去的经验，大部分是在城市里搞青年工作。今天迫切需解决的问题，是在农村如何建立青年团。”他还说：“在农村建立青年团组织，一定要根据农村的需要，因此，先做典型试验是很必要的，以便取得经验”，“建团的试点工作，现在就开始去做”。最后，会议形成一致意见，即通过试点，开展试办青年团工作，为建立一个统一的、全国性的青年团组织获取经验，并将团的名称定为“新民主主义青年团”。
1946年9月中旬，马仪来到延安县，向县委书记李兴旺传达党中央在解放区进行重建青年团的试点工作的指示。延安县委立即召开常委会，讨论决定将试点建团工作落实在大生产运动时边区的模范村和青救会时青年工作十分活跃的冯庄。会后，延安县青年联合会主任吴光明陪同中央青委的马仪到冯庄开展工作。
冯庄地处延安东北60华里丰富川深处，是延安县丰富区二乡(现宝塔区冯庄乡)最大的一个行政村。有80户人家，400余口人，其中男女青少年114人。吴光明和马仪说明来意后，村党支部十分支持，派李聚升等3名活跃的青年党员协助工作。当晚，在冯庄召开群众大会，试建团工作正式讲行。
试建青年团首先要了解青年的状况。为此，马仪和吴光明等进行了广泛深入的调查研究。他们白天同青年们一起劳动，夜幕降临又和青年们在一起吹拉弹唱，把一些作风正派的青年团结在一起，形成一个进步的核心。在此基础上，根据青年喜欢热闹的特点，选择本村一所小学旁的窑洞办起了俱乐部。青年们聚集起来后，马仪、吴光明给他们讲《钢铁是怎样炼成的》等青年英雄故事和革命的道理。
他们又创办了夜校，教年轻人读书识字。此外，还给青年讲解解放战争的形势，让他们了解国民党蒋介石的反动实质和犯下的种种罪行；介绍共产党领导的新民主主义革命的性质、任务和苏联社会主义革命、建设的成就。
通过半个多月的工作，在10月初首先发展了曹振华、马志成、张浩德、王启民为第一批团员。入团条件是：拥护中国共产党，热爱组织，思想进步，劳动好。入团手续是：先由青年党员介绍（有团员以后由团员介绍），经村党支部同意后报乡政府批准，进行入团宣誓仪式。之后，通过团员联系帮助其他青年，很快又发展了第二批8名青年团员。不久，又发展了第三批8名青年入团。在发展三批共20名团员后，11月22日，冯庄团员大会正式召开，选举成立了冯庄团支部，支部书记李聚升。中国第一个新民主主义青年团基层团组织在冯庄诞生。
新民主主义青年团冯庄村团支部的成立，有力推进了各解放区的青年团试建。1946年10月，在延安丰足火柴厂诞生了全国重建青年团的第一个工厂团支部，在延安行知中学诞生了全国重建青年团的第一个学校团支部——毛泽东青年团总支。此后，又在米脂、绥德、延安、子长等几个县内普遍建团。11月5日，中共中央即向各中央局、中央分局发出了《关于建立民主青年团的提议》，肯定了共青团取消以来党领导的青年工作成绩；指出青救会式的组织与活动已不能满足新涌现的大批优秀青年积极分子的要求，应该组织一个单独的先进青年组织成为党领导广大青年群众的核心，以团结教育青年中的积极分子，使他们成为党的主要支持力量与后备力量之一。同时要求，建立青年团暂时只在解放区进行，在群众基础较好的中心地区先行做起，取得经验逐步发展。从此，各解放区都开始了择地试建青年团的工作。12月7日，在听了冯庄建团情况汇报后，中共中央西北局举行常委会，决定将青年团工作更密切地与军事动员及土地改革结合起来进行，扩大试建青年团的地区，在各分区抽出一个县来试办。12月20日，中共延安县委发出了《关于普遍试办青年团的指示》，要求各区、乡按照冯庄经验，开展建团活动。1947年8月，中央青委在西柏坡召开全解放区青年工作会议。会上各地交流了试建团的情况和经验，决定扩大团的试建工作。到1948年底，试建青年团的工作在各个解放区普遍展开，并获得很大成功。
冯庄团支部建立的成功范例，为中央最后决定正式建团提供了实践依据。在各解放区试建青年团取得成功的基础上，1949年1月，中共中央正式发出了《关于建立中国新民主主义青年团的决议》。4月11日至18日，中国新民主主义青年团第一次全国代表大会在北平胜利召开，宣告了中国新民主主义青年团的正式成立。在这次大会上，冯庄团支部书记李聚升作为特邀代表，汇报了青年团的作用和工作经验。毛泽东、刘少奇、周恩来、朱德、任弼时等中央领导人还向李聚升赠物留念。1957年5月，中国新民主主义青年团召开第三次全国代表大会，大会决定将中国新民主主义青年团改名为中国共产主义青年团。这个名称一直沿用至今。