【摘要】AI領域正經曆着一場新的範式轉型，通過整合多個大型語言模型(LLMs)和其他複雜元件系統來實作突破。是以，開發出針對複合AI系統的高效自動化優化方法成為首要挑戰之一。類似于神經網絡早期依賴的反向傳播和自動微分技術的變革，本文引入了一種新的名為TEXTGRAD的架構，通過文本實作自動“微分”。
TEXTGRAD利用LLMs生成的文本回報進行反向傳播，優化複合AI系統的各個組成部分。其操作方式類似于PyTorch，具備高度靈活性和易用性。TEXTGRAD無需架構元件和提示的調整，即可自動适用于各種任務。我們的研究展示了TEXTGRAD在解決問題答案優化、分子優化及放射治療計劃等多方面的高效表現。經過實驗驗證，TEXTGRAD使GPT-4o在Google-Proof問答中的零樣本準确率從51%提升至55%，在LeetCode-Hard代碼問題的優化中實作了20%的相對性能提升，并成功設計了針對性的治療方案。TEXTGRAD為 развитию следующего поколения ИИ систем laid the foundation for the next generation of AI system development.
原文：Automatic "Differentiation" via Text
位址：https://arxiv.org/abs/2406.07496
代碼：https://github.com/zou-group/textgrad
出版：arXiv
機構: 斯坦福大學
1. 研究問題
本文研究的核心問題是如何設計一個通用且自動化的架構來優化由多個大型語言模型和複雜元件構成的複合AI系統。
考慮一個雙層問答系統：第一部分是一個大型語言模型，根據給定提示生成答案；第二部分是另一個大型語言模型，評估答案并打分。目前的挑戰在于如何自動調整提示，以便第一部分輸出的答案獲得盡可能高的評分。
該研究面臨以下幾方面的挑戰：
- 複合AI系統的元件常常是不可微的黑盒，傳統的基于梯度的優化方法難以奏效。
- 這些元件的中間變量和輸出通常以非結構化的形式存在，如自然語言文本，增加了優化難度。
- 優化的目标函數可能複雜且不可微，有時需要另一個AI系統來計算。
- 現有方法常需大量定制開發，缺乏一個通用的、自動化的優化架構供普遍使用。
基于上述挑戰，本文提出了一種強大的基于文本回報的自動微分架構TEXTGRAD。TEXTGRAD将複雜AI系統表示為一個計算圖，其中變量可以是任意非結構化資料，邊上的函數可以是不可微的複雜算子。通過LLMs産生的文本回報來反向傳播，并優化每個變量。TEXTGRAD操作方式與PyTorch類似，即便不同領域的任務也能直接開箱即用。
2. 研究方法
提到TEXTGRAD架構，它将AI系統展現為一個計算圖，變量可以是任何非結構化資料。以一個由兩個LLM調用組成的系統為例，優化通過兩個步驟實作：首先是變量通過提示生成預測，其次是通過另一模型的指令對預測進行評估。TEXTGRAD通過自然語言生成梯度回報，并使用文本梯度下降(TGD)指導變量優化。
架構支援多次優化疊代，直到得到最優解。從優化方式上，TEXTGRAD靈活運用了衆多技術，結合了批量優化和限制優化，實作了高效的自動優化。
3. 實驗
本文在多領域、多個實驗場景下驗證了TEXTGRAD的有效性，如代碼優化、科學問題回答、分子設計和放射治療計劃優化等。實驗結果顯著，表明TEXTGRAD不需要架構調整即可在複雜系統中取得優異表現。
- 執行個體優化：在LeetCode Hard資料集上優化代碼，TEXTGRAD将GPT-4o的通過率從23%提升至36%。
- 科學問題回答：在科學問題資料集中，TEXTGRAD将GPT-4o的零樣本準确率從51%提升至55%。
- 推理任務提示優化：通過優化提示，提高了GPT-3.5在多個推理任務上的表現。
- 藥物分子優化：同時優化分子的結合能和類藥性，在58個靶點上持續改進結合能和類藥性。
- 放射治療計劃優化：優化前列腺癌放射治療中的劑量分布，兼顧惡性良性腫瘤劑量和器官保護。
4. 總結
本文提出的TEXTGRAD架構通過LLM生成的自然語言回報指導優化，展示了其在複雜AI系統中的應用潛力。TEXTGRAD為AI系統的發展和普及奠定了基礎，在代碼優化、科學問題解答、分子設計和放射治療計劃等多個領域展現了優異表現。未來可能的研究方向包括将TEXTGRAD與其他優化技術結合，擴充其應用範圍。