文/王若樸 | 2023-07-20發表
圖片來源: Google
Google用自建的醫療AI基準測試MultiMedQA和人工評估框架，來衡量自家Flan-PaLM模型和Med-PaLM模型表現，發現Med-PaLM產出的長篇答案，有92.6%符合科學共識，與臨床醫師的92.9%相當。
Google醫用生成式AI準確率92.6%與臨床醫師相當，成果登上Nature
權威期刊Nature在7月12日刊登Google研究成果，聚焦醫用生成式AI模型進展，經臨床醫師評估，Google醫用大模型Med-PaLM產出的長篇答案，有92.6%符合科學共識，與臨床醫師的92.9%相當。
Google指出，大型語言模型雖已蓬勃發展，但臨床應用門檻很高，且要評估模型臨床知識是否足夠，還得仰賴自動化又不全面的基準測試。為此，Google先自建一套基準測試MultiMedQA，涵蓋6大醫學QA資料集，包括專業醫學、研究、病人詢問，以及一套線上醫療問題搜尋資料集HealthSearchQA。接著，Google建置一套人工評估框架，指標涵蓋事實程度、完整性、推理能力和可能的傷害與偏見，來讓專業人士評分模型表現。
後來，團隊用MultiMedQA來評估5,400億參數的PaLM模型及其衍生模型Flan-PaLM，雖然後者在各項評測都達到SOTA水準，甚至在美國醫療執業類型題庫MedQA達到67.6%，比時下最佳模型高出17%，但在回答病人醫療問題時，表現差強人意。為解決問題，團隊用指令提示微調方法，打造醫療專用模型Med-PaLM，且在多個領域表現優秀。比如，臨床醫師小組評分，Flan-PaLM產出的長篇回答，只有61.9%符合科學共識，而Med-PaLM則是92.6%，與臨床醫師的92.9%相當。此外，29.7%的Flan-PaLM回答被評為可能有害，但Med-PaLM只有5.9%，與臨床醫師的5.7%相似。Google指出，雖然這些結果很有潛力，但醫療領域複雜，需要進一步評估，特別是在安全性、公平性和偏差部分。（詳全文）
