1937年7月7日，日本華北駐屯軍一部于盧溝橋附近演習時借口士兵失蹤發動“盧溝橋事變”，全民侵華戰争爆發。在此國家、民族生死存亡的關鍵時刻，國共雙方迅速達成合作，中國工農紅軍主力改編為國民革命軍第八路軍，南方數省堅持遊擊鬥争的紅軍遊擊隊改編為國民革命軍陸軍新編第四軍，簡稱“八路軍”“新四軍”。
八路軍由位于西北的紅一、紅二、紅四方面軍及西北紅軍等紅軍主力改編組成，主力為115師、120師、129師及總部特務團，其中紅一方面軍及陝南七十四師等改編為八路軍115師。1937年8月25日，八路軍115師于雲陽編成後即東渡黃河奔赴華北抗日前線，1937年9月25日在平型關伏擊日軍取得著名的平型關大捷，此後115師逐漸分兵，先後開辟晉察冀、山東等敵後抗日根據地。
1938年6月至1939年初，八路軍115師主力分批挺進山東，與山東當地八路軍山東縱隊等一起開辟、鞏固了山東敵後抗日根據地，部隊也迅速發展壯大，1940年10月至1941年7月115師部隊相繼整編為七個教導旅，并組建了魯西、湖西、冀魯邊、魯南等軍區，其中教導第三旅、教導第七旅先後劃歸八路軍第二縱隊指揮。
八路軍第二縱隊成立于1940年2月，由344旅、青年決死第三縱隊、新編第一旅、華北抗日民軍第一旅等部隊編成，左權任司令員，黃克誠任政治委員。1940年4月，為加強冀魯豫地區力量，黃克誠率八路軍第二縱隊344旅、華北抗日民軍第一旅等部隊南下，與冀魯豫區楊得志上司的冀魯豫支隊合編為新的八路軍第二縱隊，同時成立冀魯豫軍區，軍區由縱隊兼。楊得志任八路軍第二縱隊司令員，黃克誠任政治委員，軍區司令員由黃克誠兼任，縱隊轄新編第二旅、新編第三旅、344旅、華北抗日民軍第一旅及南進支隊等部隊。
1940年5月下旬，黃克誠率344旅、新編第二旅主力（5團、6團）南下豫皖蘇邊區，楊得志率八路軍第二縱隊留下部隊堅持鬥争。1941年7月，新編第三旅、新編第二旅4團合編為教導第七旅，建制屬115師，由八路軍第二縱隊指揮。教導第七旅成立時旅長為韓先楚，政治委員兼副旅長趙基梅，後由餘克勤任旅長，1942年12月教導第七旅與冀魯豫軍區第七軍分區合并，番号自此撤銷。
115師教導第三旅由115師343旅運河支隊及獨立支隊第二團等編成，兼魯西軍區，楊勇任旅長兼軍區司令員，政治委員蘇振華，副旅長王秉璋。1941年6月，教導第三旅劃歸八路軍第二縱隊建制，魯西軍區也并入冀魯豫軍區，1942年12月教導第三旅與冀魯豫軍區第二軍分區合并，教導第三旅番号撤銷時旅長為王秉璋。