1954年4月，缅军调集了八个营近万人的兵力，发动了旨在彻底歼灭残军的“贝英豪攻势”，之后不久，缅军又调集六个营的兵力，发动了“杨芝昂攻势”。因为残军大部分撤台，武装已不如从前，群龙无首，溃不成军，没有统一的领导，散兵游勇各行其是，不少人投靠了当地土司，有的回国投诚，有的占山为主，所以缅军每次扫荡，他们都如兔子般东躲西藏，不堪一击。
台湾知道金三角留下了不少力量后，蒋介石便派柳元林来收拢残存武装，组建了三个军，一时残军武装又发展到四千人。
1960年10月，情报人员向柳元林报告，据与老挝军总参谋长温·拉迪功接触获知，中国人民解放军将与缅甸政府军联手打击台湾在缅甸的残余部队。
1961年初，残军在江拉总部截获了一份缅军调集军队的电报，得知缅甸集结十个营一万多人的兵力驻扎于芒林等地。
残军在山林深处罕无人迹的地方与缅军兜圈子，故意将一个个阵地丢弃，扔下一些破旧的武器装备，缅军一路追击，捡到武器十分高兴，作为战利品送到仰光展览，炫耀成绩。
缅军被残军牵着鼻子，在山里转了十几天，早已累得筋疲力尽。缅军急于寻找残军决战，但每次双方刚一接上火，一转眼又不见残军的踪迹。
直到有一天，缅军一部被残军牵进了王南昆至芒林的狭窄山道。缅军的大炮和飞机因为高山丛林，两军又贴得极近，派不上用场，双方短兵相接，残军如饿虎下山，对缅军突然发起猛烈的攻击，缅军伤亡惨重。
后来，缅军的增援部队陆续赶来，残军决定掘堤放水，堵淹缅军。缅军发现残军的企图后，立即用大炮猛轰通往水库的道路，同时组织以克钦兵为主的敢死队向残军发起反攻，竭力阻挠残军的行动。克钦兵打起仗来不怕死，拼着命涌了上来，但残军用绝对优势的兵力反攻，在一个整团兵力的包围下，克钦兵敢死队全部毙命。
残军借着夜色，掘开了库堤，汹涌的大水冲进了缅军的阵地，缅军丢下重武器，从残军右翼防守薄弱的地带，打开了一条道路，匆匆逃了回去。
缅军这次围剿失败后，感到实力不济，但残军不消灭，总是一块心病，于是，缅甸请求中国人民解放军加盟作战。
1961年初，残军截获了一份解放军的作战命令，了解到将有两万多解放军在三百里长的战线上，分五个方向对残军金三角部队发起攻击。
国民党军队一向是解放军的手下败军，这次也不例外，人民解放军如风卷残云，打得残军溃不成军，击毙残军官兵六百余人。残军在缅甸境内无法立足，柳元林无奈率领部队渡过湄公河，跑到老挝境内南塔避难。
美国人担心残军把老挝的局势搞乱，从中进行调解。美国国务院答应为遣送残军回台提供交通支援。从1961年3月14日开始，到4月12日撤台基本结束，约有三千五百名国民党残军从南塔乘飞机到班会塞，然后换乘渡船过湄公河，再乘卡车到清迈，在这里又登飞机直飞台湾。
国民党残军大部分撤走后，台湾方面宣布，对留下的极少数人，不再承担任何义务。
残军像割不干净的草藤，不久便会从土里冒出来，繁衍成一大片。这些没有走的残军余部，大多是不肯离故乡太远，幻想着总有一天能回到祖国大陆。
当时没有走的残军，主要是李文焕等人的老部下。李文焕是云南人，水桶式的身材，黑脸，生性粗暴，喜好械斗，是个天不怕地不怕的人物，他的士兵也大多是云南人，本土观念很强，总以为台湾是个很遥远的地方。
残军势单力薄已不成气候，起先是在老挝境内活动，部队开始瓦解，又受到老挝政府军力量的排挤，站不住脚，不得不转移。缅甸无论如何是不会容纳他们，于是他们向泰国方向移动。
李文焕带七百余名官兵和家眷，沿着泰缅边境，一直向西钻山沟穿密林，躲避缅军的追击，狼狈不堪。李文焕的妻女在第一次撤台时就安居在泰国清迈市，李文焕自己在泰国也有关系网，无奈他不能去那个地方。他带着部下钻了十几年山沟，多次遭到缅军和其他武装的围剿，又得不到台湾方面的支持，只得在深山老林里自己养自己。
李文焕在丛林里走了五天，遇到泰国第一个小村寨，便命令部队注意警戒，派侦察兵在村寨周围观察了一番，又找山民打听情况。手下人回来报告说，这个地区叫昌德，距清迈大概五十公里，村寨叫唐窝，有四十户人家，没有发现敌情。
他望着村子发了好一阵呆，卫兵给他点燃一支烟，他猛吸了一口，随手一抛，说：“不走了，就在这里住下来。”
于是，这支七百多人的残军力量就在此安营扎寨。
残军剩下的另一支武装有一千五百多人，领头的是段希文。此人也是云南人，手下也大多是云南人和亲朋好友，乡土观念特别强。
大部队撤台时，他对自己的弟兄说：“我们到台湾干什么？那个海岛大的地方，怎么容得下我们这些小卒，我们不去。”
段希文进泰国境内后，命令大部队休息，派出几支侦察小分队分头去找营区地点。并对小分队交代，找安营扎寨的地方要密险结合，远近相宜。所谓密险结合就是地点要隐蔽保密，地势险要，进可攻，退可守；远近相宜就是离城镇远一点，离边境近些。
段希文这个人不仅比李文焕更具军事头脑，办事老练，率领的部队也仍保持着正规军的作风。虽然数天疲于奔命，派出的侦察小分队却仍然保持着良好的战斗状态。他们一律挎卡宾枪，四只子弹带装得满满的，枪膛里压上子弹。不久，他们也在泰国境内找到落脚的地点。
这两个残军头目，都学着初到金三角时的李国辉，特别注意与村寨土司搞好关系，深知与当地山民和平相处的作用。他们自己动手伐木建房，修筑工事，十几天的时间就把营地搞得有模有样。后来又在通往山寨的路口修了哨所，尽量不扰民，自己解决自己的问题。那些当地的老百姓，站在一边远远地看着，私下议论这些兵挺能干。
在这片深山老林中，土地贫瘠，即便是扰民也抢不到什么东西，残军要生存下去，唯有垦荒和做鸦片生意。就在残军安定下来后，他们死灰复燃，又开始了这桩罪恶的活动。