1939年1月至1942年3月，根據黨中央訓示，劉少奇率中原局直接進入華中敵後開辟抗日根據地。他緊密結合實際，迅速打開局面，開辟華中抗日根據地，對抗日戰争和新四軍的發展壯大做出了突出貢獻。
劉少奇抵達華中後，在深入調查研究的基礎上，向黨中央提出“創造蘇北根據地”的意見，認為“江蘇北部我們沒有正規部隊及黨的機關去活動，亦無地方黨的組織，而這又是有最大發展希望的地區，是以，這是我們突擊方向，應集中最大力量向這方面發展”。具體計劃是彭雪楓、張愛萍部由淮北東進，八路軍從隴海路北南下，陳毅、粟裕部由江南北上，合力開辟蘇北。這個意見得到黨中央的支援。經過一年的努力，新四軍和八路軍于1940年10月在蘇北勝利會師。
在華中，劉少奇響亮地提出了在抗日民族統一戰線中，又團結又鬥争的口号，堅持獨立自主地發展自己的武裝力量，建立根據地和“三三制”抗日民主政權。根據這一指導思想，新四軍主動配合國民黨友軍團結抗日。
1939年12月，江北新四軍粉粹日軍對皖東的大掃蕩，把從日軍手中奪回的皖東重鎮古河交還給國民黨友軍。但是對國民黨頑固派的反共反摩擦，則堅決發起自衛反擊，先後取得定遠、半塔保衛戰、郭村戰鬥和黃橋戰役的勝利。在發動群衆的基礎上，獨立自主地委派根據地各縣縣長，并根據“三三制”原則成立各級參議會和民主政府，打開了華中敵後抗日局面。
劉少奇堅持把思想建設放在黨的建設的首位，向廣大幹部反複強調要在革命的實踐中，加強共産黨員的理論學習和思想意識的修養。
1940年7月1日，為紀念中共誕生19周年，他作了題為《做一個好的黨員，建設一個好的黨》的著名演講。這個演講稿在根據地廣為流傳，影響深遠，是對中國共産黨黨的建設的重要理論貢獻。
皖南事變發生後，劉少奇為黨中央制定“軍事上取守勢，政治上全面反攻”的決策提供了正确的意見。
在他建議下，1月20日新四軍新軍部在蘇北鹽城重建，劉少奇任政治委員。同年5月中原局和東南局合并為華中局，劉少奇任華中局書記，他先後主持了1941年5月華中局高幹會議和1942年1月華中局第一次擴大會議，及時統一思想，使華中全黨全軍走上了健康發展的道路。