抗戰結束後，曾經擔任新四軍5師參謀長的劉少卿，從延安派往前線工作，從此以後也開啟“飄着”的軍事生涯。此話，怎麼說呢？
1939年，劉少卿離開延安被派往鄂豫皖前線加強上司工作，當時李先念被派往鄂豫皖開辟新區，随着部隊擴編需要幹部，而到前線被委以重任，成為李司令得力助手，成為5師“總長”，不僅負責打仗，而且司令部各項工作都負責。
1944年，他被抽調離開5師，去延安學習，内心是有點不情願的，途經豫西時遇到阻力停下來戰鬥，與王樹聲部彙合。抗戰結束後，跟着王樹聲一起又回到鄂豫皖。當時5師、王樹聲部、王震部組建中原軍區，拟任他為參謀長，不知何故推辭，在中原軍區沒有正式職務。
國共和談時，他被抽調去北平軍調處工作，從此也算是離開老部隊了。
随着中原突圍，新四軍5師抵達鄂豫陝開辟新區，他回到延安休養，要求到前線工作，一開始被安排到劉鄧麾下，想着跟部隊重返鄂豫皖。當時部隊在魯西南作戰，暫無南下到計劃。是以，他決定離開前往東北打仗，路過華東被留下來。
華東部隊大多數是由新四軍改編而來，陳毅、粟裕、張雲逸等都是新四軍老首長。從過去隸屬關系上，劉少卿是他們的下級。不過，因為5軍在中原發展，距離新四軍軍部鹽城較遠，往來不多。
軍區副司令張雲逸知道劉少卿的過去的職務，可作為一個空降過來的幹部，此時并沒有合适的職務給他。一開始讓他去搞教育，或者擔任警備旅旅長，但後改為渤海軍分區司令員，從職務上屬于師級。
軍分區屬于地方部隊，打仗自然不是主要工作，主要工作就是發展根據地建設，擴兵、配合主力作戰，進行地方土改、征糧、剿匪等工作。他很想率領軍分區主力打一場漂亮的戰，或許因為是空降幹部，上下不熟悉，還需要磨合，是以提出作戰方案有時候被掣肘或者否定，是以工作不是很順心，要求離開。
當他的問題反映到張雲逸那裡後，也知道他為什麼要走，這是抗戰根據地割據造成的情況，本地幹部都不怎麼放心，也就不怎麼信任外來幹部，隊伍是他們在抗戰中自己拉起來的，就是華東軍區首長到新地區都會遇到這樣的情況。也對他說，如今給他安排的職務确實低了一點，這也是多方面情況造成的。
張雲逸的一番話，讓他心中的委屈少了不少，上級也考慮到他在軍分區工作的情況，就給他再次安排職務，到陶勇4縱10師工作，那個師打仗有些損失，現在補充休整；還有可以到東江縱隊，部隊是廣東轉移到山東來的，可以到那裡幫助整訓。
劉少卿去了東江縱隊，但并沒有給他職務。在東江縱隊幾個星期後，華野東線兵團成立，他被安排擔任兵團參謀長，協助許世友打仗。
過去協助李先念打仗，因李先念是政工出身，軍事方面需要加強，是以在抗戰時期劉少卿的工作和權限很大，工作也很順手。可到内線兵團擔任參謀長，兵團許世友，副司令王建安，都是非常能打仗的老将，在軍事方面劉少卿主要是傳達、布置任務等。
東線兵團開始幾個月的膠東保衛戰，1948年春在打兖州攻堅戰，因黑熱病而離開前線休養。從此也算離開作戰部隊了，像濟南戰役、遼沈戰役等他都沒有參加。
1949年部隊改編為三野，上級希望他繼續擔任兵團參謀長，可從内心來講，幹了十多年參謀長更希望到前線獨立帶兵打仗，上級也考慮他的情況。可最終沒有合适的位置安排給他，隻能再次安排臨時職務，讓其帶着南下幹部到前線接收工作。當任務完成後，他的職務也就不存在了。
直到上海解放後，他率領的幾個團改編為上海鐵路警察局局長。解放後，又被調任華東局副秘書長。
在解放戰争的三年時間裡，他可是一直“飄着”，沒有像其他幹部一樣紮根部隊。如果說到原因，也是多方面的，有自身原因，也有外部原因。
從自身原因來說，他原本可以繼續在作戰部隊擔任兵團參謀長，職務也不低，可就想着到前線帶兵，失去一次留在作戰部隊的計劃。從外部原因來說，作為空降幹部，沒有帶着部隊過來，困難可想而知，這是所謂“山頭”。是以很多幹部實際上不願離開老部隊到新部隊工作，因為人事問題比較複雜。
他咋不留在過去的老部隊，去當時的鄂豫陝呢？還是之前說的，心裡有氣，想不通怎麼就把自己調離新四軍5師了。多年後，才釋懷。