在目前的人工智能爆炸時代，我們面臨的主要挑戰之一是人工智能有時會犯錯誤。更重要的是，許多人工智能工具的黑箱特性意味着捕捉這些錯誤并了解它們發生的原因可能非常困難。
OpenAI最近在一篇基于該公司一篇研究論文的部落格文章中讨論了這個問題——以及一個潛在的解決方案。在這裡，該公司釋出了CriticGPT——這是一個基于GPT-4架構的模型，可以識别和突出ChatGPT生成響應中的不準确性，特别是在程式設計任務中。
OpenAI的研究人員發現，當人類稽核員使用CriticGPT來評估ChatGPT的代碼輸出時，他們的表現在60%的情況下超過了沒有CriticGPT幫助的人。這項工作的意義遠遠超出了單純的錯誤檢測，它可以重塑我們如何進行人工智能訓練、評估和部署。
深入研究細節，使用人類回報強化學習(RLHF)對CriticGPT進行了訓練。這是一種類似于ChatGPT本身使用的方法。該方法涉及人工智能訓練師手動将錯誤插入到ChatGPT生成的代碼中，然後對這些插入的錯誤提供回報。這個過程中OpenAI發現，在63%的自然發生的bug中，教育訓練師更喜歡使用CriticGPT而不是ChatGPT。這是由于CriticGPT産生更少的小的抱怨，以及CriticGPT不經常産生幻覺的事實。
研究發現，與其他屬性(細節或全面性)相比，識别特定的、預定義的bug比評估代碼品質或有效性的其他方面更直覺。
論文讨論了兩種類型的評估資料：人為插入的錯誤和人為檢測到的錯誤。這種雙重方法提供了對不同場景下的CriticGPT性能的更全面的了解，包括人為引入的錯誤和自然發生的錯誤。但是，當分析包含參考錯誤描述的人為插入錯誤的資料時，一緻性大大提高了。
這種一緻的模式表明，清楚地識别錯誤為評估提供了更具體的環境，允許開發者做出更一緻的判斷。但還引起了對人工智能生成的意見進行一緻評估的困難，特别是在處理代碼品質的其他方面時。
此外，OpenAI指出CriticGPT并沒有完成所有的工作。他們觀察到，人類開發者經常保留或修改人工智能生成的意見，這表明人類專業知識和人工智能援助之間存在協同關系。
顯然，這裡還有更多的工作要做，但OpenAI的CriticGPT朝着減少ChatGPT等模型産生的錯誤率邁出的一大步。