1939年1月至1942年3月，根据党中央指示，刘少奇率中原局直接进入华中敌后开辟抗日根据地。他紧密结合实际，迅速打开局面，开辟华中抗日根据地，对抗日战争和新四军的发展壮大做出了突出贡献。
刘少奇抵达华中后，在深入调查研究的基础上，向党中央提出“创造苏北根据地”的意见，认为“江苏北部我们没有正规部队及党的机关去活动，亦无地方党的组织，而这又是有最大发展希望的地区，因此，这是我们突击方向，应集中最大力量向这方面发展”。具体计划是彭雪枫、张爱萍部由淮北东进，八路军从陇海路北南下，陈毅、粟裕部由江南北上，合力开辟苏北。这个意见得到党中央的支持。经过一年的努力，新四军和八路军于1940年10月在苏北胜利会师。
在华中，刘少奇响亮地提出了在抗日民族统一战线中，又团结又斗争的口号，坚持独立自主地发展自己的武装力量，建立根据地和“三三制”抗日民主政权。根据这一指导思想，新四军主动配合国民党友军团结抗日。
1939年12月，江北新四军粉粹日军对皖东的大扫荡，把从日军手中夺回的皖东重镇古河交还给国民党友军。但是对国民党顽固派的反共反摩擦，则坚决发起自卫反击，先后取得定远、半塔保卫战、郭村战斗和黄桥战役的胜利。在发动群众的基础上，独立自主地委派根据地各县县长，并根据“三三制”原则成立各级参议会和民主政府，打开了华中敌后抗日局面。
刘少奇坚持把思想建设放在党的建设的首位，向广大干部反复强调要在革命的实践中，加强共产党员的理论学习和思想意识的修养。
1940年7月1日，为纪念中共诞生19周年，他作了题为《做一个好的党员，建设一个好的党》的著名演讲。这个演讲稿在根据地广为流传，影响深远，是对中国共产党党的建设的重要理论贡献。
皖南事变发生后，刘少奇为党中央制定“军事上取守势，政治上全面反攻”的决策提供了正确的意见。
在他建议下，1月20日新四军新军部在苏北盐城重建，刘少奇任政治委员。同年5月中原局和东南局合并为华中局，刘少奇任华中局书记，他先后主持了1941年5月华中局高干会议和1942年1月华中局第一次扩大会议，及时统一思想，使华中全党全军走上了健康发展的道路。