在小說中，程咬金是一介莽夫，出身也不是很好，在小說《隋唐演義》中，程咬金的絕學三闆斧還是在睡夢中學會的，但因為記憶力不好，需要先說名字，才會想起招式，後人管他的招數叫“三斧子半”，後演變了歇後語“三道闆斧——隻會幾招”。
《說唐全傳》小說裡，程咬金家中窮的叮當響，老母親又體弱多病，全家人就靠着程咬金在集市上賣竹筢子維持生計，有一個叫尤俊達的強盜就拉攏程咬金與他一塊搶皇綱，隋炀帝的皇綱在押運途中有三次是被程咬金所截，因而就有了“半路殺出個程咬金”。
曆史上的程咬金真是出身貧困的莽夫嗎？程咬金墓被發掘後，專家發現了一塊石頭，程咬金家族的秘密重制于世。1986年，考古人員對程咬金墓進行了發掘工作，雖然程咬金的墓已經被盜賊光顧過，但專家還是發現了一塊非常有價值的石頭。
這塊石頭就是程咬金的墓志銘，明确記載了程咬金的身世、家族，颠覆了以往人們對程咬金的認知，墓志銘中記載：“曾祖興，齊兖州司馬；祖哲，齊黃州司馬”，講的是程咬金的曾祖在北齊任職兖州司馬，而祖父也在北齊任職黃州司馬，都屬于地方上的中高居官員。
另外，墓志銘上寫有“父婁，濟州大中正”，程咬金的父親也擔任了不小的官職，由此程咬金是出生在官宦家庭，世代都有做官的，家中自然是不窮的，不過程咬金選了一條和祖輩完全的道路，程咬金家中大多是文官，程咬金卻十分喜愛習武，心中想的是帶兵打仗。
隋朝末年，天下大亂，程咬金歸附西魏名将李弼的曾孫李密，被李密重用，李密還常對人說：“這八千人（程咬金率領的）抵得上百萬大軍”，李密與西域的胡人王世充失敗後，程咬金被俘，後被王世充重用。
但程咬金認為王世充太過狡詐，得知唐軍後歸附了西魏名将李虎的孫子李淵，李淵讓程咬金等人跟随了兒子李世民，李世民早已聽聞程咬金的威名，讓程咬金當了左三統軍，成為了唐朝的開國大将。
公元626年，玄武門之變，程咬金參與其中，程咬金官升遷到右武衛大将軍，享受實封七百戶，後程咬金一路官升，可見程咬金絕非是一介莽夫，還是一個頗懂為人處事的人物，麟德二年二月七日，77歲高齡的程咬金于自己的私宅中去世，葬于九嵕山之原。