本次分享論文：MEDFUZZ: EXPLORING THE ROBUSTNESS OF LARGE LANGUAGE MODELS IN MEDICAL QUESTION ANSWERING
基本資訊
原文作者：Robert Osazuwa Ness, Katie Matton, Hayden Helm, Sheng Zhang, Junaid Bajwa, Carey E. Priebe, Eric Horvitz
作者機關：Microsoft Research, Massachusetts Institute of Technology (MIT), Helivan Research, Johns Hopkins University
關鍵詞：大語言模型，醫療問答，魯棒性，MedFuzz，基準測試
原文連結：https://arxiv.org/pdf/2406.06573
開源代碼：暫無
論文要點
論文簡介:
本文提出了一種名為MedFuzz的對抗方法，用于評估大語言模型在醫療問答基準測試中的魯棒性。研究通過修改基準測試問題，探讨模型在基準假設被打破時的表現。實驗結果表明，MedFuzz方法可以有效揭示模型在複雜實際環境中的潛在問題和局限性，為評估其在真實臨床應用中的可靠性提供了新的視角。
研究目的:
本文旨在評估大語言模型在醫療問答基準測試中的表現是否能夠推廣到真實的臨床環境。研究通過引入一種名為MedFuzz的對抗方法，試圖在不改變正确答案的情況下，修改基準測試中的問題，以此來考察LLM在假設被違反時的表現。本文還探讨了如何通過這種方法提供洞見，以評估LLM在更複雜的實際環境中的魯棒性。
引言
目前，大語言模型在醫療問答基準測試中表現出色，甚至達到了人類水準。然而，這種高精度并不意味着模型在真實世界的臨床環境中同樣表現優異。基準測試通常依賴于一些特定的假設，這些假設在開放的臨床環境中可能并不成立。為了探讨LLM在更複雜的實際環境中的表現，本文引入了一種名為MedFuzz的對抗方法。MedFuzz借鑒了軟體測試和網絡安全中的模糊測試方法，通過有意地輸入意外的資料來“打破”系統，進而暴露其失敗模式。本文通過對MedQA基準測試中的問題進行修改，示範了MedFuzz的方法，成功的“攻擊”能夠在不迷惑醫學專家的情況下，使LLM從正确答案變為錯誤答案。進一步地，本文還介紹了一種排列檢驗技術，以確定攻擊的統計顯著性。
研究背景
近年來，醫療問答成為評估大語言模型的一項關鍵任務。多個醫療問答基準測試相繼出現，用于統計評估LLM的表現。例如，MedQA基準測試基于美國醫學執照考試（USMLE），旨在評估臨床決策中的推理能力。最新一代的大語言模型在MedQA上的表現大幅提升，如Med-PaLM 2和GPT-4分别取得了85.4%和90.2%的準确率。盡管這些結果令人印象深刻，但在實際臨床環境中，基準測試中的假設可能并不适用。是以，評估LLM在違反這些假設時的表現，對于了解其在實際應用中的魯棒性至關重要。
研究方法
本文提出的MedFuzz方法利用對抗LLM來修改基準測試中的問題，使這些修改違背基準測試的假設，但不改變正确答案。對抗LLM根據目标LLM的曆史輸出，逐漸優化修改方案，直到目标LLM給出錯誤答案或達到預定的疊代次數。通過這種方法，可以評估LLM在更複雜的實際環境中的表現。具體步驟包括選擇要違反的假設、提示對抗LLM進行修改、重新評估基準測試表現以及識别有趣的案例研究。
實驗分析
實驗使用MedQA基準測試對GPT-3.5和GPT-4進行了評估。對抗LLM通過多次修改問題，目标LLM在修改後的問題上作答。結果顯示，随着攻擊次數的增加，基準測試的準确率逐漸下降，揭示了模型在假設被違反時的脆弱性。具體實驗分析包括多次嘗試修改問題，并記錄目标LLM的回答變化，最終通過對比基準測試前後的表現統計，評估LLM在更複雜實際環境中的魯棒性。案例研究進一步展示了LLM在應對偏見和複雜情況時的不足。
研究結果
實驗結果顯示，使用MedFuzz方法可以顯著降低LLM在MedQA基準測試上的表現，表明這些模型在面對更複雜的實際環境時可能表現不佳。具體來說，随着攻擊次數的增加，LLM的準确率逐漸下降，顯示出其在基準測試假設被違反時的脆弱性。通過案例分析，本文還發現LLM在處理帶有偏見和不公平假設的問題時，容易受到幹擾，進而産生錯誤的答案。
論文結論
本文通過引入MedFuzz方法，評估了大語言模型在醫療問答基準測試中的魯棒性。研究表明，盡管LLM在基準測試中表現優異，但在更複雜的實際環境中，其表現可能會顯著下降。MedFuzz方法不僅揭示了LLM在假設被違反時的潛在問題，還提供了一種評估其在實際應用中魯棒性的方法。未來的研究可以進一步擴充該方法，應用于其他領域的基準測試，以全面評估大語言模型的實際應用潛力。
原作者：論文解讀智能體
校對：小椰風