1938年7月，蔣介石指令十七路軍改編為31軍團，任孫蔚如為軍團長，所屬部隊除被蔣鼎文扣下、以後再未歸還的一個旅外，全部離陝東渡，開赴晉西南抗日第一線，以堅守中條山，保衛黃河安全為任務。蔣介石嚴令孫蔚如，在任何情況下都不得退過黃河，拼命死守。不久，又将31軍團改為第四集團軍，孫蔚如任總司令。
蔣介石之是以将第四集團軍全部調入中條山，除了借此免去孫蔚如陝西省政府主席職務，把原十七路軍擠出故土之外，還另有一番用心。當時，一本日本出的畫報上有一幅漫畫，對蔣介石的陰謀刻畫的淋漓盡緻。這幅漫畫畫的是：堅守中條山的部隊穿着破舊衣服，肩扛破槍，身上标有“雜牌”字樣。在他們的前面是日本軍隊，後面是服裝齊整、裝備齊全的蔣氏嫡系軍隊，端着刺刀戳向“雜牌”的脊背。這幅漫畫雖然是日軍的宣傳畫，但卻把蔣介石如此布置，妄圖消滅十七路軍的險惡用心刻畫地惟妙惟肖。對這一點。孫蔚如将軍十厘清楚，但他又不能公開與蔣介石對抗。一方面，他始終擔心在押的楊虎城将軍的性命，他怕讓蔣介石找到借口加害楊将軍；另一方面，他又十厘清楚堅守中條山對保衛三秦大地不受日本軍隊踐踏的重要意義。他鼓勵部隊，要以民族大義為重，英勇殺敵，誓死保衛家鄉不受侵略。十七路軍一些老部下、老将領也曾當面責怪他，認為不能聽從蔣介石的指令，把楊虎城将軍締造的這支部隊拿去與日本人拼光，替幾十萬在他們身後養尊處優、裝備精良的蔣介石嫡系部隊充當炮灰。孫蔚如将軍緘默不語，他苦心孤詣，唯有下定以死抗戰的決心。餘将以血肉之軀報效國度，舍身家生命以拒日寇，誓與日寇血戰到底！但聞黃河水長嘯，不求馬革裹屍還還！”
日軍集中幾個師團數萬兵力在空軍、炮兵的配合下，短短的兩年時間裡，對中條山防地進行了十一次猖狂的進攻，其中以“血戰永濟”、“六六戰役”、“望原會戰”最為慘烈悲壯！大小戰役數百次，戰況空前激烈，有時為一座山頭、一個村鎮反複争奪、幾經易手。日軍攻勢強大，人多勢重，常使堅守陣地的第四集團軍整營整連的傷亡。面對如此艱苦局面，孫蔚如将軍下令收縮防線，集中部隊，靈活出擊，并派出疑兵穿插敵後打運動戰、突襲戰，搞得日軍首尾不得相顧，整體無法推進。兩年時間裡，日軍頻繁改變作戰方案、撤換指揮官，越是急于跨過中條山越是不得前行，其上報日本軍部的作戰報告也不得不聲稱“守備中條山之支那部隊雖屬雜牌，但其戰鬥力頗強，不可輕敵”。孫蔚如率領第四集團軍全體将士在沒有友軍支援的配合、軍需物資極端缺乏的艱難情勢下拼力死戰，以近2/3人員傷亡（陣亡2.1萬）的慘重代價始終巍然屹立于中條山上，有力遏止了日軍打通中亞與德軍會合的整體作戰企圖，用血肉保衛了關中故地，表達了三秦子弟兵的赤膽忠心。
當時的陝西報紙所稱“西北整個得以安定，皆賴我英勇将士在北岸艱苦支撐所賜”并非虛言。日軍視中條山為華北戰場之“盲腸”，全國人民則把第四集團軍稱為“中條鐵柱”。各地進步記者、各界代表團紛紛來到中條山。他們滿含熱淚，慰勞官兵；四處稱頌，盛況空前。形勢所迫，蔣介石也不得不對其抗戰業績表示贊揚。孫蔚如将軍笑了，他揮筆作下了《滿江紅.中條山抗日》詞一首。詞中慷慨吟道：“立馬中條，長風起，淵淵代鼓”，“新舊恨，從頭數，挽狂瀾作個中流砥柱”，複雜的心緒，悲壯的情懷流溢于字裡行間。這不僅刻畫了他本人當時的精神面貌，而且也表達了全軍将士決心在中條山抗戰到底、消滅日寇的豪情壯志。
中條山的兩年戰事中，第四集團軍由于一方面有楊虎城締造該部以來長期與中共合作的傳統；另一方面，在抗戰中無論人員物資都得不到國民黨方面的支援，相反卻得到中共黨政軍各方面的全力以赴的真誠幫助，此間與中共來往甚密。這自然引起蔣介石的忌恨。蔣介石即将第四集團軍調離中條山，名為調防河南守備黃河南岸百餘裡防線，實際目的在于使第四集團軍遠離中共八路軍。孫蔚如将軍深知蔣介石用意，他一方面巧妙應付蔣介石借清查部隊中“共黨分子”進而對部隊施加迫害的種種陰謀行為，一方面精心指揮第四集團軍進行了荥（陽）廣（武）戰役，登（封）汜（水）戰役，迫使日軍退出鄭州，困守邙山橋頭堡。從中條山戰役到河南戰役，孫蔚如将軍指揮第四集團軍依靠中共和社會各界進步人士的幫助，在幾十萬裝備精良的國民黨嫡系部隊與日軍一觸即潰、望風而逃、潰不成軍的混亂戰局中，一幟獨樹，打了許多硬仗，有利遏止了日本軍隊猖狂的攻勢。
1945年6月，蔣介石見借日本人之手無法消滅楊虎城将軍締造的這隻頑強的部隊，便采取抽梁換拄的手法，掉離了第四集團軍的各主要将領，派其嫡系将領張耀明接掌部隊。孫蔚如将軍被調去湖北任第六戰區司令長官，蔣介石采取明升暗降的手法剝奪了他的兵權，将他置于自己勢力的監視包圍之下。日本投降時，孫蔚如出任武漢區受降司令，積極負責，解除日軍武裝20餘萬人，接收工廠、倉庫等300餘所，編遣僞軍9萬餘人。