01、概述

近年來，人工智能在醫(yī)療領(lǐng)域的應(yīng)用迎來了新的突破。傳統(tǒng)上，高性能的專業(yè)領(lǐng)域模型需要大量的領(lǐng)域特定預(yù)訓(xùn)練，例如PubMedBERT和BioGPT。然而，隨著GPT-4等通用大模型的崛起，這一模式正在被打破。尤其是像Medprompt這樣的運行時引導(dǎo)策略（run-time steering），在無需重新訓(xùn)練模型的情況下，就能讓通用模型在特定領(lǐng)域內(nèi)達到媲美甚至超越專業(yè)模型的表現(xiàn)。

本文將帶你深入了解Medprompt及其背后的運行機制，同時揭示OpenAI最新的o1-preview模型如何以“推理原生”的全新設(shè)計理念，推動AI在醫(yī)療領(lǐng)域的表現(xiàn)攀上新的高峰。

02、從專業(yè)到通用：大模型的范式轉(zhuǎn)變

傳統(tǒng)的領(lǐng)域特定模型：精準(zhǔn)但局限

在過去，為了在醫(yī)學(xué)等高專業(yè)性領(lǐng)域中取得優(yōu)異表現(xiàn)，研究人員傾向于開發(fā)領(lǐng)域特定的語言模型。這些模型通過大量醫(yī)學(xué)文獻的預(yù)訓(xùn)練，能夠很好地理解專業(yè)術(shù)語和上下文。例如：

• PubMedBERT：專為生物醫(yī)學(xué)文本設(shè)計，在PubMed數(shù)據(jù)上預(yù)訓(xùn)練。
• BioGPT：專注于生命科學(xué)領(lǐng)域，為學(xué)術(shù)和臨床任務(wù)提供支持。

雖然這些模型在各自的領(lǐng)域表現(xiàn)優(yōu)異，但也存在明顯的缺陷：訓(xùn)練和更新成本高，適應(yīng)新任務(wù)的靈活性差。

通用模型的崛起：靈活與強大兼?zhèn)?/h4>

隨著GPT-4等通用大模型的出現(xiàn)，情況發(fā)生了改變。這些模型在廣泛的數(shù)據(jù)集上進行預(yù)訓(xùn)練，展現(xiàn)出強大的跨領(lǐng)域理解能力。值得注意的是，GPT-4在醫(yī)學(xué)考試（如USMLE）中已超過許多專門模型的表現(xiàn)，這表明通用模型能夠在保持靈活性的同時，提供高水平的專業(yè)能力。

03、Medprompt：提升通用模型的專業(yè)表現(xiàn)

在這個背景下，Medprompt應(yīng)運而生。作為一種運行時引導(dǎo)策略，Medprompt通過動態(tài)提示增強了通用模型在醫(yī)療任務(wù)中的表現(xiàn)。

運行機制：如何在推理時提升性能？

Medprompt的核心在于三大技術(shù)：

• 鏈?zhǔn)酵评?/strong>（Chain-of-Thought, CoT）：通過引導(dǎo)模型逐步分解問題，幫助其進行邏輯推理。
• 動態(tài)少樣本提示（Few-shot prompting）：在推理過程中，根據(jù)任務(wù)動態(tài)選擇最相關(guān)的示例。
• 投票集成（Choice-shuffle ensembling）：通過多次運行模型并結(jié)合多數(shù)投票結(jié)果，顯著提高預(yù)測準(zhǔn)確性。

這種方法有效地縮小了通用模型與領(lǐng)域特定模型之間的差距。例如，在MedQA等醫(yī)學(xué)基準(zhǔn)測試中，Medprompt將誤差率降低了近50%，而這一切無需對模型進行任何微調(diào)。

突破瓶頸：結(jié)合外部資源與元推理

為了進一步提升表現(xiàn)，Medprompt還引入了檢索增強生成（RAG），確保模型在推理時能實時訪問最新的醫(yī)學(xué)信息。同時，通過元推理（Metareasoning），系統(tǒng)能更智能地分配計算資源，優(yōu)化推理過程。

04、o1-preview模型：AI推理的新高度

在探索如何進一步提升大模型性能的過程中，OpenAI推出了o1-preview模型，這一新模型徹底改變了傳統(tǒng)的推理方式。

推理原生：從根本上優(yōu)化推理過程

與傳統(tǒng)模型需要依賴外部提示不同，o1-preview在訓(xùn)練階段就內(nèi)嵌了推理能力。換句話說，它是“推理原生”的。這使得模型能夠在推理過程中自動分解問題并提供逐步答案，而無需依賴Medprompt這樣的提示策略。

研究顯示，o1-preview在多個醫(yī)學(xué)基準(zhǔn)測試中超越了GPT-4，即便是后者在Medprompt的增強下也難以匹敵。這種內(nèi)置推理能力使得模型在處理復(fù)雜、多語言任務(wù)（如JMLE-2024）時表現(xiàn)尤為突出。

成本與性能的權(quán)衡

雖然o1-preview在準(zhǔn)確性上達到了新的巔峰，但其運行成本相對較高。這就引出了一個重要的策略性選擇：成本與性能的平衡。在某些任務(wù)中，GPT-4o（優(yōu)化版GPT-4）可能以更低的成本提供足夠好的性能。

05、新挑戰(zhàn)與未來展望

隨著o1-preview在現(xiàn)有基準(zhǔn)測試中接近性能天花板，研究人員呼吁開發(fā)更具挑戰(zhàn)性的評估標(biāo)準(zhǔn)。這不僅有助于進一步探索模型的能力，也為推動AI在真實世界醫(yī)療場景中的應(yīng)用提供了方向。

以下是值得關(guān)注的未來方向：

• 多模態(tài)數(shù)據(jù)整合：結(jié)合文本、圖像、基因序列等多模態(tài)信息，進一步提升模型在臨床診斷中的應(yīng)用潛力。
• 動態(tài)任務(wù)適應(yīng)：開發(fā)更智能的推理框架，讓模型能在不同醫(yī)療任務(wù)之間自由切換。
• 實時學(xué)習(xí)與更新：確保模型能快速吸收新知識，應(yīng)對快速變化的醫(yī)學(xué)領(lǐng)域。

05、結(jié)語

從Medprompt到o1-preview，人工智能在醫(yī)療領(lǐng)域的進步令人振奮。它們不僅展現(xiàn)了大模型在專業(yè)領(lǐng)域的強大潛力，更為解決高風(fēng)險任務(wù)中的關(guān)鍵問題提供了新思路。隨著研究的深入，AI有望在醫(yī)療領(lǐng)域扮演越來越重要的角色，為患者、醫(yī)生和整個醫(yī)療行業(yè)帶來深遠影響。

參考：

1. ??https://www.microsoft.com/en-us/research/blog/advances-in-run-time-strategies-for-next-generation-foundation-models/??
2. ??https://arxiv.org/abs/2411.03590??

本文轉(zhuǎn)載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/oegITaLxdiPFpciTvtQXBw??