馮玉祥是西北軍的主要将領，不過，在西北軍中，他也遭遇了一些挫折。1926年，馮玉祥通電下野，當時他也意識到自己在建設西北軍過程中存在一些問題，于是馮玉祥便前往蘇聯，考察蘇軍的建設經驗，并尋求支援。
在蘇聯考察期間，馮玉祥遇到了一個優秀的年輕人，這個年輕人當時在蘇聯留學，他也參加了接待馮玉祥的工作，這個年輕人就是劉伯堅。事後，馮玉祥充分肯定了劉伯堅的能力，并邀請劉伯堅回國協助自己建設西北軍。
劉伯堅出生于1895年，四川平昌人，出生于一個小商業者家庭。早年時期，他主要在家鄉一帶讀書，1920年，劉伯堅赴歐洲勤工儉學。在歐洲讀書期間，劉伯堅一邊打工，一邊學習，在這期間，他接觸到社會各個階層的人士，也了解到俄國的十月革命，并對馬克思主義産生了濃厚的興趣。
1922年，劉伯堅與周總理、趙世炎等人在歐洲建立了旅歐共青團，也是這一年，劉伯堅加入了我黨，成為一名光榮的黨員。那段時期，劉伯堅廣泛宣傳我黨的革命思想，在進步青年中發展黨員，吸收了一批進步青年加入組織，為我黨早期的發展壯大作出了積極的貢獻。
1923年，劉伯堅奔赴莫斯科，進入東方大學學習。也是在蘇聯期間，劉伯堅參與接待了馮玉祥。當時馮玉祥主要到蘇聯學習蘇軍的政治工作經驗，劉伯堅待人和藹，處理問題老成持重，他給馮玉祥留下了深刻的印象，馮玉祥也專門邀請劉伯堅到西北軍中擔任政治部副部長，在西北軍中推廣蘇軍的政治工作經驗，進而加強西北軍的建設。
到西北軍後，劉伯堅積極做好部隊的政治工作與統戰工作，并在西北軍中宣傳我黨的革命思想，引導青年軍人走向進步與光明。1927年，劉伯堅被馮玉祥“禮送”到武漢，此後劉伯堅又前往上海，主要為組織從事秘密工作。
1928年，劉伯堅再度前往蘇聯，進入伏龍芝軍事學院學習，系統地學習了軍事理論。1930年，劉伯堅傳回國内，并被派到中央根據地，擔任了軍委秘書長等職務，主要負責紅軍的教育以及政治工作。在中央根據地期間，劉伯堅還立下了一件大功，參與了對國民黨26路軍的策反工作，并負責了這支部隊的改造工作，把這支部隊改造成為一支英勇善戰的工農革命隊伍。
1934年，中央紅軍的主力部隊長征會後，劉伯堅留在根據地，擔任了贛南軍區政治部主任等職務，期間，他堅持率部進行遊擊戰争，力所能及地儲存了革命的有生力量，策應了主力部隊的長征。
劉伯堅的政治工作卓有成效，1938年，毛主席在提到劉伯堅時，曾說過：“劉伯堅是我黨的早期優秀黨員，中國工農紅軍早期優秀将領，無産階級革命家，我黨我軍政治工作第一人。”能得到主席這樣高度評價，足見劉伯堅有多麼優秀，可惜的是，1935年，在突圍過程中，劉伯堅因掩護戰友不幸受傷被俘，并被關入獄中。同年，劉伯堅英勇就義，年僅40歲。
值得一提的是，劉伯堅有個兒子名叫劉虎生，1948年，劉虎生被中央送到蘇聯留學，為将來建設祖國做好了準備。新中國成立後，劉虎生長期從事技術工作，在大陸基礎工業、軍事工業等方面作出了巨大的貢獻，成就很高，是全國勞模與全國五一勞動獎章獲得者。