本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

全球首個全科醫(yī)療大模型正式發(fā)布：

由谷歌Research和DeepMind共同打造的多模態(tài)生成模型Med-PaLM M，懂臨床語言、懂影像，也懂基因組學。

在14項測試任務(wù)中，Med-PaLM M均接近或超過現(xiàn)有SOTA，前提是所有任務(wù)都使用一組相同的模型權(quán)重。

而在246份真實胸部X光片中，臨床醫(yī)生表示，在高達40.50%的病例中，Med-PaLM M生成的報告都要比專業(yè)放射科醫(yī)生的更受采納，這表明Med-PaLM M并非“紙上談兵”，用于臨床指日可待。

對此，谷歌也自己給出了評價：

這是通用醫(yī)學人工智能史上的一個里程碑。

所以，Med-PaLM M具體什么來頭？

全球首個全科醫(yī)療大模型來了

在正式了解Med-PaLM M之前，我們先簡單介紹谷歌自建的多模態(tài)醫(yī)學測試基準MultiMedBench。

谷歌表示，在MultiMedBench之前，市面上缺乏這樣一個全面的多模態(tài)醫(yī)學基準。

該基準由12個開源數(shù)據(jù)集和14個單獨的任務(wù)組成，用于測量通用生物醫(yī)學AI執(zhí)行各種臨床任務(wù)的能力。

其中12個數(shù)據(jù)集共包含了六種生物醫(yī)學數(shù)據(jù)模式（文本、放射學（CT、MRI和X光）、病理學、皮膚病學、乳房X光檢查和基因組學），14個任務(wù)則涵蓋五種類型（問題回答、報告生成和摘要、視覺問題回答、醫(yī)學圖像分類和基因組變體調(diào)用）。

Med-PaLM M就在上面進行了微調(diào)。

正如其名“M”代表多模態(tài)，Med-PaLM M相比之前谷歌發(fā)布的Med-PaLM、Med-PaLM-2等醫(yī)療大模型，是一個主打全科、通才的醫(yī)療AI，不僅能回答各種醫(yī)學問題，還能直接看片、懂基因組學。

它的基本架構(gòu)是PaLM-E（多模態(tài)語言模型），并采用ViT預(yù)訓(xùn)練模型作為視覺編碼器，具體實現(xiàn)了三種組合：

-PaLM 8B+ViT 4B(PaLM-E 12B)
-PaLM 62B+ViT 22B (PaLM-E 84B)
-PaLM 540B+ViT 22B (PaLM-E 562B)

通過MultiMedBench對PaLM-E模型進行微調(diào)，并將其與生物醫(yī)學領(lǐng)域?qū)R，Med-PaLM M得以誕生。以下是一些實現(xiàn)細節(jié)：

（1）數(shù)據(jù)集和預(yù)處理方面，將MultiMedBench中所有圖像大小調(diào)整為224×224×3，同時按需使用填充來保留原始縱橫比。

（2）由于谷歌的目標是訓(xùn)練一個通用的生物醫(yī)學AI模型，使用統(tǒng)一的模型架構(gòu)和模型參數(shù)，用多模式輸入執(zhí)行多個任務(wù)。為此，他們?yōu)镸ed-PaLM M提供了特定于各種任務(wù)的指令以及一個純文本的“一次性示例”。

如下圖所示的胸部x光解讀和皮膚病變分類任務(wù)所示，這些指令有一種寫提示語的味道，以“你是一個很給力的放射科助理”開頭。

（3）訓(xùn)練過程中，作者對PaLM-E進行了端到端的微調(diào)。在多模態(tài)任務(wù)中，圖像標記與文本標記交錯，以形成對PALM-E模型的多模式上下文輸入。對于所有微調(diào)任務(wù)，多模式上下文輸入最多包含1個圖像，然而Med-PaLM M能夠在推理過程中處理具有多個圖像的輸入。

14項任務(wù)接近or超SOTA，臨床戰(zhàn)勝40%放射科醫(yī)生

性能評估階段，作者主要測試Med-PaLM M的“多面手”（即全科）能力、突發(fā)涌現(xiàn)能力以及放射學報告生成質(zhì)量（與真實放射科醫(yī)生進行對比）。

結(jié)果顯示：

（1）與專業(yè)SOTA模型和無生物醫(yī)學領(lǐng)域微調(diào)的廣義模型（PaLM-E 84B）相比，Med-PaLM M在MultiMedBench上的所有任務(wù)、數(shù)據(jù)集和指標組合（共計14項）中，性能均基本接近SOTA或超過SOTA。

需要注意的是，該結(jié)果是在沒有任何特定任務(wù)定制的情況下使用相同的模型權(quán)重集實現(xiàn)的。

（2）在scale實驗中，三個不同規(guī)模的Med-PaLM M對各類任務(wù)的影響各不相同：
粗略來看，對于純語言任務(wù)和需要調(diào)整的多模式任務(wù)來說，模型越大越好；但對圖像分類和胸部X光報告生成任務(wù)來說，84B的效果比562B表現(xiàn)反而更好一些。

（3）零樣本思維鏈推理能力涌現(xiàn)。Med-PaLM M可以通過胸部X射線圖像檢測沒有訓(xùn)練過的結(jié)核病，與針對該類數(shù)據(jù)集進行專門優(yōu)化過的SOTA結(jié)果相比，它的準確率已相差不大。

不過，它給出的具體報告還是存在具體錯誤，說明還有不足。

（4）放射性報告生成測試中，80B參數(shù)的Med-PaLM M平均有40.50%的報告比放射科醫(yī)生做的更好（被臨床醫(yī)生采納），而12B和562B，分別為34.05%和32.00%。

另外，遺漏和錯誤率測試顯示，Med-PaLM M 12B和84B模型平均每份報告的遺漏率最低，為0.12，其次是562B模型為0.13。這一結(jié)果與MIMIC-CXR上人類放射科醫(yī)生基線報告的相當。

多久能實用？

作為人類首個全科醫(yī)學大模型，Med-PaLM M多久能投入實用，想必也是大家關(guān)心的問題。

雖然它被“自詡”為里程碑（主要是因為靠一組模型權(quán)重在各種生物醫(yī)學任務(wù)上接近或超過SOTA），但谷歌也指出目前還有不少局限性待解決。

比如缺乏高質(zhì)量的測試基準。谷歌表示，這是迄今為止通用生物醫(yī)學人工智能發(fā)展的關(guān)鍵瓶頸，因為只有高質(zhì)量的基準才能在很大程度上促進相關(guān)領(lǐng)域的發(fā)展。

而目前的MultiMedBench還存在單個數(shù)據(jù)集大小有限以及模式和任務(wù)多樣性有限（比如缺乏轉(zhuǎn)錄組學和蛋白質(zhì)組學）等問題。

再比如，擴展（scale）多模態(tài)AI模型也具有挑戰(zhàn)性。

在語言領(lǐng)域，這一操作可以顯著提高性能和應(yīng)急能力。然而，谷歌在Med-PaLM M上的初步實驗表明，由于醫(yī)學數(shù)據(jù)的稀缺性，這對于生物醫(yī)學任務(wù)領(lǐng)域的多模態(tài)廣義模型來說并沒有這么簡單。

作者介紹

目前，谷歌僅發(fā)布了Med-PaLM M的論文。

它一共有兩位共同一作，其中一位叫Tao Tu。

他本科畢業(yè)于北理工（2010年），碩士畢業(yè)于清華大學，博士為美國哥倫比亞大學，專業(yè)都是醫(yī)學工程。目前已在谷歌擔任軟件工程師快兩年。

論文地址：https://arxiv.org/abs/2307.14334