抗战初期，日本侵略军挟其优势装备长驱直入，国民党军纷纷撤退，华中主要城镇及交通干线沦于敌手。在这种背景下，大片敌后地区各类杂色武装蜂拥而起。以江南为例，各地名义上的抗日武装，成分非常复杂，人员来源一是当地人民激于抗日义愤揭竿而起，二是国民党败退后留下的官兵，三是旧的地方保安团、民团改编。这些杂色武装的种类，按陈毅在《茅山一年》中的说法，可分为以下十种类型：
(一)国民党派遣的游击兵团;
(二)地方拥兵自卫土皇帝式的武装;
(三)抗日分子如文化人、前进青年集合而成;
(四)帮会首领号召成立的，徒子徒孙一大堆，加上绿林成分;
(五)地方县区政府的常备部队;
(六)两面派武装;
(七)反正的部队;
(八)含封建迷信的武装，如大刀会、红枪会之类;
(九)含党派性或党派领导的武装;
(十)散在民间未成军的武装。
上述各种武装，情况各异，少数是坚决抗日的，多数是既抗日又扰民。
新四军初到江南，对杂色武装采取什么样的方针政策关系到能否立足的问题。项英于1938年6月23日致信陈毅，提出：“对于地方武装的方针，是帮助和扶植一切民众武装，使它发展扩大。中心是争取同我们一块抗日，达到统一指挥。建立纪律，洗刷坏分子，学习和开展游击战。我们除此以外，主要是加强政治教育和领导，不仅在名义上归我们指挥……而最重要的是争取在我们政治领导下，进一步派人到里面去作政治领导工作，在行动上受我们指挥和共同行动，创造成为我们新的部队基础，并逐渐吸引一部编入我军。”
根据中共中央关于“组织与团结无数的游击队在自己的周围”的指示精神和军部的指示，新四军第一、第二支队进人江南后，对各类杂色武装采取区别对待的不同方针。对一切抗日武装，予以有力的扶助，特别是在政治工作方面，使之保持地方性和独立性，帮助其发展，与新四军共同抗日。对于流氓土匪武装，主要是争取其下层，对上层也采取教育争取的政策。只有极少数勾结日伪、鱼肉人民的土匪朱永祥等武装，则坚决进行打击将其消灭。朱永祥被抓获后，将其押送至国民党第三战区。
各类杂色武装最终的结果是大浪淘沙，第一类积极抗日，转化为正规军，走上了光明大道;第二类腐化堕落，被敌人收买了，终于被敌解决;第三类素行不法，脱离民众，不是被剿灭就是被人民群众所解决。而新四军由于加强了对杂色武装的统战联络工作，使不少杂色武装主动自愿要求加人，从而扩大了部队。
彭雪枫率新四军游击支队挺进豫皖苏地区后，对众多名目的杂色武装开展了统战联络工作，取得了很好的效果。如国民党河南二区专员宋克宾下辖鹿邑柘城、夏邑、商丘、虞城等广大地区，有保安部队近千人。该部总队长聂洪范、吴青旺、宋铁林，均曾任西北军的师长。经过做工作，加之他们感受到新四军纪律好，受到群众拥护，多次派人要求新四军去人到该部进行帮助改造。安徽亳州的余亚农部有七八千人，也和宋克宾部一样要求与新四军合作。彭雪枫多次派人与余亚农联络，余态度恳切。杞县有支部队人枪近千，与日伪军作战多次，但成分较差，后经争取，能接受新四军的指挥。像这样经统战联络工作后能受新四军节制的杂色武装，各县都有。西华县地方武装的领导者胡晓初、侯香山,原系本地土霸,抗战开始后，中共豫东特委书记沈东平利用私人关系与他们接触,使他们倾向共产党新四军。国民党要拉拢和瓦解该部，被他们拒绝。后来该部被编为新四军游击队第二总队,辖两个团,胡晓初任副总队长，总人数达到1800人，胡、侯两人先后参加了中国共产党。但因该部成分很坏，土匪、兵痞占多数，整训中逃亡很多，又经洗刷，最后剩下一个营，在抗战过程中锻炼成了主力部队。
张爱萍率苏鲁豫支队挺进至皖东北开展敌后抗战。该地区杂色武装也很多。由于开展了统战联络工作，将某些杂色武装加以收编，新四军的部队得到了扩大。
新四军豫鄂挺进纵队刚进入敌后时，面对的除了日寇、伪军以外，还有大量杂色武装。有的游击队挂着抗日的招牌，群众却称之为“黑击队”，实为土匪和流寇。李先念、陈少敏等领导人运用党的统战武器，对各类杂色武装做了深入细致的工作。如在随西县争取了绿林式的“大洪山抗日游击队”120余人参加新四军，在桐柏地区收编了王广显等土匪队伍四十三股共600余人，在豫南争取了徐天斌部200余人，从而使一部分杂色武装走上了抗日救国的光明大道。
当时各地区还有一些两面派武装，公开方面是伪自卫团，暗中又与新四军联系，表示愿为我方办事，以达到保存实力的目的。这些两面派武装的头面人物一般是当地有实力的上层人士，在地方上担任过一定的职务，有一定的社会影响。新四军对这些两面派人物及其指挥的两面派武装，不是简单化地一律视作汉奸加以打击，而是积极开展联络工作，向他们宣传抗日救国的道理，说服他们不忘自己是中国人，不要为虎作怅，少干伤天害理的勾当;同时鼓动他们为抗日出力，多帮新四军办事，允许他们以两面派的面目出现。通过斗争实践的考验，不少两面派人物及其武装成了倾向新四军的“一面派”。
华中敌后地区土匪很多。1938年12月9日，毛泽东和王稼祥致电彭雪枫，指出对土匪的政策应当是：
(一)我们武装有剿匪安民的责任，首先要恢复政权，恢复抗日秩序。
(二)在我力量足够的地方择最坏的土匪消灭之。
(三)收编较好的而力量不大的土匪部队，收编后或争取之，或收枪解散之。
(四)不能消灭、不能收编之土匪部队，则与之联络，准备实行(一)(二)两项办法。
(五)在实行上项办法时，必须多采取合法手续，如发动县长区长请我们打土匪，群众请愿剿匪等…-宜用比较缓和的方法而不使统—战线破裂为原则。
中央之所以指示对土匪采取上述方针政策，是因为不少地方“官匪勾结”，甚至“官匪一家”，国民党的官员往往是土匪的后台或靠山。以邳县、睢宁、铜山地区为例，土匪之多是少见的，而土匪武装的情况又相当复杂。根据中央指示，进入邳睢铜地区的新四军和八路军对土匪武装区别对待。对于那些杀富济贫、尚有民族气节的，尽量做工作，争取将其收编。对于那些投靠敌伪、残害群众、民愤甚大的土匪武装，坚决予以消灭，匪首就地正法。对那些愿意改邪归正的土匪武装，则将其收编，或补充部队，或遣散回家。实践证明，多数土匪武装能够逐步得到改造。
华中地区的青帮、洪帮、刀会等各种封建帮会组织分布广泛，人数众多，在群众中有很大的影响。有的帮会还渗透到政界、军界，能量更大。
新四军挺进敌后开展抗日斗争，如何对待帮会也是重大课题之一。
1939年3月，周恩来在皖南新四军军部干部大会的报告中，对帮会的方针政策作了明确的指示：“争取青帮、大刀会的群众。我们应研究这些组织，进行政治工作，争取他们。”
中共中央东南局书记、新四军副军长项英在谈到帮会问题时，指出：“对于大刀会，是从政治上争取他们成为抗日民众武装组织，把封建迷信成分逐渐去掉(开始不要反对迷信和师父)，培养和扶植政治上进步分子，取得领导地位，逐渐去掉迷信和坏的上层分子，以达在实质上、名义上成为我们领导之下的抗日的民众武装。”
陈毅率第一支队挺进江南后，在宴请上层士绅时也邀请帮会首领到会，勉励他们抗日。在苏南溧阳、高淳一带，“大刀会”这一封建帮会组织很普遍。敌伪和国民党顽固派都千方百计操纵“大刀会”反对共产党新四军。1940年6月在横山(今属安徽当涂县)就发生过“大刀会”暴动事件，新四军一个连受到了很大损失，地方武装亦被搞垮。为此，苏南区党委和十六旅对争取“大刀会”作出了进一步的部署。
经过调查研究，发现“大刀会”头头称坛主，下设大师兄、二师兄……分头发号施令。其中坛主、点传师的一部分就是国民党的乡保长或地主富农。溧(阳)高(淳)“大刀会”的后台是国民党专员汪国栋。“大刀会”的基层群众绝大部分是贫苦农民，少数是地痞流氓。刀会内部有一整套封建会规，控制极严;还有行话、暗语，排外性很强。我区长兼区大队长范征夫和副区长兼副大队长沈传清，根据上级指示，对“大刀会”开展了统战工作，教育和争取了许多基层群众和少数进步的上层神职人员。在激发抗日热情的基础上，在大刀会内部成立了秘密游击小组，发给枪支弹药。后来大刀会内部发生分化，越来越多的群众倾向了新四军。1944年9月6日，敌伪军下乡抢粮抓丁，刀会会员和群众上千人奋起抗击，在县警卫营支援下将敌伪军击溃，直追至敌伪据点，焚毁碉堡两座并活捉日军一名。战斗胜利后，“大刀会”许多会员参加了民兵，有些会员还参加了新四军主力部队，入了党，成了排连级干部。
新四军第三师第九旅前身陇海南进游击支队在开辟苏鲁边区过程中，争取了在邳县—带颇有影响的“安青帮”头面人物、曾任国民党邳县五科科长的夏慕尧。夏和山东省委统战部部长郭子化有较深的友谊，对共产党抗日救国的主张表示赞同。经过多次联络交往，夏慕尧将自己组织的部队交给了新四军。后来他的弟子滕玉荣还当上了营长。每次与日伪军作战他都冲杀在前，后在围剿土匪的战斗中英勇牺牲。
和夏慕尧同辈的另一位“安青帮”头目闵达三，在邳县群众中甚至在土匪中都颇有影响。经过统战联络，他逐渐靠拢共产党新四军，还帮助收编了一些土匪部队。
彭雪枫率游击支队进入豫皖苏边区后，经过调查，发现鹿邑—带“红枪会”非常活跃，据说它起源于清朝末年白莲教义和团。民国初年军阀混战，溃兵土匪到处骚扰，农民利用封建帮会和宗教迷信组织武装以自卫。抗战爆发后，一些地主则以抗日保家为名拉起了“红枪会”武装。彭雪枫在《目前河南应该做什么》一文中，对帮会及其所组织的武装进行了分析，认为“我们不应该忽视民间这种伟大武装力量，我们应该加紧对他们政治上的宣传鼓动和新战术的训练”。同时他又指出，“红枪会”是一个欺骗性很大的封建迷信组织，但它的广大会员都是穷苦农民。一天，彭雪枫只带少数随行人员到“红枪会”的祭坛，用事实截穿了所谓“刀枪不入”的谎言，又和“红枪会”头头彭谋结拜为兄弟，还举行了结拜烧香仪式。由于彭谋在“红枪会”中的辈分最高，所以许多“红枪会”会员直呼彭雪枫为“司令爷”、“司令伯”。
通过彭谋，游击支队争取了其他许多地区的“红枪会”首领和广大会员，减少了阻力并转化为助力。
彭雪枫率部队进抵安徽淮上地区后，为了迅速打开抗战局面，还聘请了毫县“红枪会”师爷任义清为游击支队司令部参议。部队每到一地，任义清就以“红枪会”师爷和新四军参议的双重身份，与各地“红枪会”首领联络，帮助新四军做说服争取工作，因而使新四军未受“红枪会”的干扰，抗日工作开展得比较顺利。
新四军参谋长张云逸于1939年秋到江北兼任江北指挥部指挥，率新四军向皖东、皖中发展。但这时“大刀会”把持了战略要地巢南一带，几乎村村设堂，户户有会员。而国民党也拉拢“大刀会”，准备掀起反共高潮。
经过调查，摸清了“大刀会”三个主要头头不同的政治态度：项举鼎比较中立，赞成抗日，但对新四军误解甚多;任绍堂是开明士绅，民族感较强，为人正直;郑旭初不抗日只反共，是国民党特务。根据党的统战政策和“大刀会”各派首领不同的政治态度，江北游击纵队统战科科长蒋天然、巢南地委书记周新武等同志，先后做了“大刀会”的争取工作。后来“大刀会”头头项举鼎将有枪支的会员编成联防队九个支队，项任总指挥，每个支队都有新四军派去的人员担任政治、军事教官。经张云逸、何伟、黄岩批准，蒋天然作为新四军代表，与项举鼎等头头签订了新四军与“大刀会”联合抗日的十条协议。后来又经过耐心争取，“大刀会”联防队的四个营改编为新四军江北游击纵队巢南独立团。
随着统战工作的深入和抗日形势的发展，巢南“大刀会”这一封建帮会组织终于得到了彻底改造，很多刀会成员参加了新四军。巢南这一封建刀会王国也变成了新四军七师的抗日根据地。