1927年秋，刘珍年大骂说：“张敬尧满嘴胡说八道，班平秀胡吃闷睡，这种人打仗怎能不败。”张敬尧是直鲁联军第二军的军长，班平秀是副军长，该军在河南、安徽等地与冯玉祥的部队作战屡屡失利，退到鲁南滕县一带。
身为第二军旅长的刘珍年对张敬尧、班平秀这两个上司的昏庸无能十分不满，冯玉祥的部队攻势凌厉，副军长班平秀一筹莫展，便向直鲁联军总司令张宗昌提请，将残部约2000人交刘珍年整顿。
刘珍年的手下大都反对，说：“张（宗昌）、褚（玉璞）覆灭在即，咱们何苦接这个烂摊子？”
刘珍年说：“前汉亡去有后汉，他们不干咱们干！吾辈学以致用，建功立业，此其时也。”之后，刘珍年带着班平秀的残部开到临沂，编成一个团，改属第四军军长方永昌指挥。
在临沂，刘珍年大刀阔斧，严加整训，使这支残败队伍的面貌顿然改观。方永昌十分欣赏刘珍年的治军才能，任命其为新编旅旅长，并向张宗昌保举刘珍年任该军参谋长。
1928年夏，北伐军进攻山东，张宗昌败退冀东，任命方永昌为胶东防御总指挥，第十三军军长刘志陆为副指挥，统辖直鲁联军残部开往胶东，以图将来东山再起。不久，方永昌逃往大连，将部队交刘珍年掌握，刘珍年便自称军长，开始自立门户。
同年5月，刘珍年与刘志陆两部交错驻扎于昌邑、平度、掖县一带。刘志陆同南京国民政府拉上关系后，企图吞并刘珍年的部队和地盘。
6月10日，刘志陆以开会的名义，将第四军4个旅长中的3人摘去兵权，加以参议、顾问的头衔，留住不放。刘珍年闻讯大怒，立即联系第四军各部拒绝刘志陆改编。于是刘志陆率第十三军包围掖县，企图胁迫刘珍年就范。刘珍年严阵以待，双方在掖城一带展开激战。13日，刘珍年督率全军冲出掖城，大败刘志陆于城西福禄山。
7月上旬，刘志陆又联合张宗昌其他残部顾震、钟振国等人以重兵包围了掖县城。刘珍年授意掖县民众代表出城求见刘志陆，要求停止炮火攻城，以免杀戮百姓。
刘志陆让代表转告刘珍年：“总指挥（方永昌）既已弃军逃走，第四军自应由我副指挥统辖。倘若抗不听命，我定以大炮夷平掖城，诛灭逆军。”
刘珍年毫不示弱，下令继续抵抗。恰好这时，方永昌从大连返回掖县，他怒斥刘珍年：“掖县乃张督办（张宗昌）家乡，也是我方某家乡，眼下战事紧急，我暂不处理；看你此战表现如何，战后再作处置。”
当夜，刘珍年指挥左翼军率先攻至城西南29里的的凤凰山，适逢大连日军侦察机掠过上空，刘志陆顿生疑惧，以为刘珍年有日军支援，便率部向西撤退，方永昌指挥全军掩攻，刘志陆逃往青岛，通电下野。
战后，刘珍年嘲讽刘志陆：“黔驴庞然，技止此耳！”
击败刘志陆以后，刘珍年被方永昌任命为第一师师长，仍驻掖县。但他对方永昌既有疑虑，也有忌恨，密约驻蓬莱的第三师师长何益三寻找机会除掉方永昌，又联络了方部的团长刘开泰除掉方永昌的亲信、驻黄县的第二师师长张蔼亭。
同年9月28日，刘开泰和刘珍年密谋后，枪杀第二师师长张蔼亭张蔼亭及其亲信多人。方永昌惊闻第二师有变，连忙逃往蓬莱何益三处，何益三态度暧昧。方永昌见势不妙，带着几个亲信逃回大连。
至此，刘珍年成功取代方永昌，进驻烟台，同时接受蒋介石以南京国民政府名义给予的暂编第一军的番号。刘珍年任军长兼第一师师长，刘开泰为第二师师长，何益三仍为第三师师长。
此时的刘珍年大肆扩充实力，他软硬兼施，将散处于胶东各地的张宗昌残部及其他杂军如顾震、钟振国、刘选来、施中诚等部，或武力吞并，或婉言劝服，基本上收拾干净，共编为5个步兵师另骑兵、炮兵、特务各一个团，工兵、辎重、通信各一个营。
与此同时，张宗昌、褚玉璞的直鲁联军在昌黎、滦州一带被白崇禧的部队缴械，改编为7个师，张、褚逃往大连。但他们仍然野心不死，张宗昌于12月在大连西游别墅召集褚玉璞、程国瑞等一干部将，密商再次进军山东。
1929年2月19日，张宗昌、褚玉璞带领方永昌、黄风岐等旧部在龙口登陆。原已归附刘珍年的第二师师长刘开泰、第四师师长李锡桐、第五师师长施中诚等部又叛刘附张。
张宗昌派刘珍年的保定军校同学郎贯一劝说刘珍年听命收编，刘珍年提出要先杀方永昌，再谈改编问题。张宗昌不得已，命方永昌离军暂避。但方永昌走后，刘刘珍年不听命，张宗昌决定以武力解决。
刘珍年所辖的第二、四、五师叛离，本部只剩下第一师和何益三的第三师，之后他又奉蒋介石命令，将部队缩编为新编第三师，刘珍年任师长，何益三任副师长。
张宗昌的部队数量看似不少，但都是溃败残军改编，军纪差战斗力低。在4月下旬的一次突袭反攻中，刘珍年大获全胜，击溃张宗昌主力，仅俘虏就抓了5000多人。刘珍年率部乘胜追击，在福山县城俘虏了老长官褚玉璞。8月20日，刘珍年派人将褚玉璞秘密枪杀。
刘珍年驱走方永昌，杀死褚玉璞，逐回张宗昌，一时之间名声大噪，成为割据胶东的军阀，他本人志得意满，野心更大，夸口说：“我若有三万人马，便可横行域中。”