1954年4月，緬軍調集了八個營近萬人的兵力，發動了旨在徹底殲滅殘軍的“貝英豪攻勢”，之後不久，緬軍又調集六個營的兵力，發動了“楊芝昂攻勢”。因為殘軍大部分撤台，武裝已不如從前，群龍無首，潰不成軍，沒有統一的上司，散兵遊勇各行其是，不少人投靠了當地土司，有的回國投誠，有的占山為主，是以緬軍每次掃蕩，他們都如兔子般東躲西藏，不堪一擊。
台灣知道金三角留下了不少力量後，蔣介石便派柳元林來收攏殘存武裝，組建了三個軍，一時殘軍武裝又發展到四千人。
1960年10月，情報人員向柳元林報告，據與寮國軍總參謀長溫·拉迪功接觸獲知，中國人民解放軍将與緬甸政府軍聯手打擊台灣在緬甸的殘餘部隊。
1961年初，殘軍在江拉總部截獲了一份緬軍調集軍隊的電報，得知緬甸集結十個營一萬多人的兵力駐紮于芒林等地。
殘軍在山林深處罕無人迹的地方與緬軍兜圈子，故意将一個個陣地丢棄，扔下一些破舊的武器裝備，緬軍一路追擊，撿到武器十分高興，作為戰利品送到仰光展覽，炫耀成績。
緬軍被殘軍牽着鼻子，在山裡轉了十幾天，早已累得筋疲力盡。緬軍急于尋找殘軍決戰，但每次雙方剛一接上火，一轉眼又不見殘軍的蹤迹。
直到有一天，緬軍一部被殘軍牽進了王南昆至芒林的狹窄山道。緬軍的大炮和飛機因為高山叢林，兩軍又貼得極近，派不上用場，雙方短兵相接，殘軍如餓虎下山，對緬軍突然發起猛烈的攻擊，緬軍傷亡慘重。
後來，緬軍的增援部隊陸續趕來，殘軍決定掘堤放水，堵淹緬軍。緬軍發現殘軍的企圖後，立即用大炮猛轟通往水庫的道路，同時組織以克欽兵為主的敢死隊向殘軍發起反攻，竭力阻撓殘軍的行動。克欽兵打起仗來不怕死，拼着命湧了上來，但殘軍用絕對優勢的兵力反攻，在一個整團兵力的包圍下，克欽兵敢死隊全部斃命。
殘軍借着夜色，掘開了庫堤，洶湧的大水沖進了緬軍的陣地，緬軍丢下重武器，從殘軍右翼防守薄弱的地帶，打開了一條道路，匆匆逃了回去。
緬軍這次圍剿失敗後，感到實力不濟，但殘軍不消滅，總是一塊心病，于是，緬甸請求中國人民解放軍加盟作戰。
1961年初，殘軍截獲了一份解放軍的作戰指令，了解到将有兩萬多解放軍在三百裡長的戰線上，分五個方向對殘軍金三角部隊發起攻擊。
國民黨軍隊一向是解放軍的手下敗軍，這次也不例外，人民解放軍如風卷殘雲，打得殘軍潰不成軍，擊斃殘軍官兵六百餘人。殘軍在緬甸境内無法立足，柳元林無奈率領部隊渡過湄公河，跑到寮國境内南塔避難。
美國人擔心殘軍把寮國的局勢搞亂，從中進行調解。美國國務院答應為遣送殘軍回台提供交通支援。從1961年3月14日開始，到4月12日撤台基本結束，約有三千五百名國民黨殘軍從南塔乘飛機到班會塞，然後換乘渡船過湄公河，再乘卡車到清邁，在這裡又登飛機直飛台灣。
國民黨殘軍大部分撤走後，台灣方面宣布，對留下的極少數人，不再承擔任何義務。
殘軍像割不幹淨的草藤，不久便會從土裡冒出來，繁衍成一大片。這些沒有走的殘軍餘部，大多是不肯離故鄉太遠，幻想着總有一天能回到祖國大陸。
當時沒有走的殘軍，主要是李文煥等人的老部下。李文煥是雲南人，水桶式的身材，黑臉，生性粗暴，喜好械鬥，是個天不怕地不怕的人物，他的士兵也大多是雲南人，本土觀念很強，總以為台灣是個很遙遠的地方。
殘軍勢單力薄已不成氣候，起先是在寮國境内活動，部隊開始瓦解，又受到寮國政府軍力量的排擠，站不住腳，不得不轉移。緬甸無論如何是不會容納他們，于是他們向泰國方向移動。
李文煥帶七百餘名官兵和家眷，沿着泰緬邊境，一直向西鑽山溝穿密林，躲避緬軍的追擊，狼狽不堪。李文煥的妻女在第一次撤台時就安居在泰國清邁市，李文煥自己在泰國也有關系網，無奈他不能去那個地方。他帶着部下鑽了十幾年山溝，多次遭到緬軍和其他武裝的圍剿，又得不到台灣方面的支援，隻得在深山老林裡自己養自己。
李文煥在叢林裡走了五天，遇到泰國第一個小村寨，便指令部隊注意警戒，派偵察兵在村寨周圍觀察了一番，又找山民打聽情況。手下人回來報告說，這個地區叫昌德，距清邁大概五十公裡，村寨叫唐窩，有四十戶人家，沒有發現敵情。
他望着村子發了好一陣呆，衛兵給他點燃一支煙，他猛吸了一口，随手一抛，說：“不走了，就在這裡住下來。”
于是，這支七百多人的殘軍力量就在此安營紮寨。
殘軍剩下的另一支武裝有一千五百多人，領頭的是段希文。此人也是雲南人，手下也大多是雲南人和親朋好友，鄉土觀念特别強。
大部隊撤台時，他對自己的弟兄說：“我們到台灣幹什麼？那個海島大的地方，怎麼容得下我們這些小卒，我們不去。”
段希文進泰國境内後，指令大部隊休息，派出幾支偵察小分隊分頭去找營區地點。并對小分隊交代，找安營紮寨的地方要密險結合，遠近相宜。所謂密險結合就是地點要隐蔽保密，地勢險要，進可攻，退可守；遠近相宜就是離城鎮遠一點，離邊境近些。
段希文這個人不僅比李文煥更具軍事頭腦，辦事老練，率領的部隊也仍保持着正規軍的作風。雖然數天疲于奔命，派出的偵察小分隊卻仍然保持着良好的戰鬥狀态。他們一律挎卡賓槍，四隻子彈帶裝得滿滿的，槍膛裡壓上子彈。不久，他們也在泰國境内找到落腳的地點。
這兩個殘軍頭目，都學着初到金三角時的李國輝，特别注意與村寨土司搞好關系，深知與當地山民和平相處的作用。他們自己動手伐木建房，修築工事，十幾天的時間就把營地搞得有模有樣。後來又在通往山寨的路口修了哨所，盡量不擾民，自己解決自己的問題。那些當地的老百姓，站在一邊遠遠地看着，私下議論這些兵挺能幹。
在這片深山老林中，土地貧瘠，即便是擾民也搶不到什麼東西，殘軍要生存下去，唯有墾荒和做鴉片生意。就在殘軍安定下來後，他們死灰複燃，又開始了這樁罪惡的活動。