實話實說，本來沒有這篇稿子，我并沒有太關注Baichuan-M2這個模型，因為最近開源社區(qū)太火爆了，各家都在卷。

7月份見?開源模型盤點，而8月剛過半，已經有Qwen-Image、dots.vlm1、MiniCPM-V 4.0、GLM4.5V等等等。

那么，Baichuan-M2這個垂域模型就顯得不那么驚艷了（很多人都更關心通用模型），還有百川上次開源M1已經是五六個月前了，當時在群里發(fā)AI日報，一眾小伙伴都驚訝百川還在發(fā)模型。

PS：不過我群里有個內應，說他們項目挺多的~

不過，因為看到極客公園采訪王小川的稿子，我對百川的這個模型又提起了興趣。同時M2在healthbench hard 上的表現也超過了32分，實屬不易。

https://mp.weixin.qq.com/s/BeowHiFg3otIcfEIufredw

PS：推薦大家看一下這個采訪，里面對垂域模型、領域壁壘等一些內容說的蠻好的，當然也是很多做領域大模型的人都遇到的困局、及面臨的選擇。

說回醫(yī)療大模型，其實醫(yī)療AI一直很有市場，不過真正落地有很多困難，大模型效果、幻覺、信任度等等，說實話，百川在2024年就ALL IN醫(yī)療，挺有魄力的。

關注技術本身，看了Baichuan-M2的技術報告，發(fā)現里面還是有很多細節(jié)在的，同時這也是一個做垂域模型很好的例子，在小參數下，達到甚至超越大參數模型的效果。

而我也是一直在做這樣的事情，因為落地成本真是很大的問題，只不過我在做ToB，王小川是要做ToC。

Blog：https://www.baichuan-ai.com/blog/baichuan-M2
HF：https://huggingface.co/baichuan-inc/Baichuan-M2-32B

整體流程應該涉及兩個部分Mid-Training 和 Post-Training。

Mid Training 就是向通用大模型中注入領域知識的過程，感覺說是Continue Pre-train也可以，不過Baichuan這里用了領域自約束持續(xù)預訓練方法，在維護通用模型的知識，確保保留通用任務解決能力的前提下，使訓練模型能夠獲取領域特定的知識。

https://arxiv.org/abs/2412.15270

高質量醫(yī)療數據、其他通用數據和數學推理數據的比例為 2:2:1 ，基模是Qwen2.5-32B模型，哈哈哈，Qwen在開源社區(qū)的含金量依舊很高。

重點在RL部分，整體流程如下：

其實我們都知道RL部分獎勵機制是關鍵，其實在真實使用時找到好的獎勵很難，日常任務一般考獎勵模型，不像數學、代碼等有明確的獎勵。

M2這里設計了一個Verifier系統(tǒng)，對模型在多輪交互中的整體表現進行持續(xù)、動態(tài)的量化評估，評估診斷準確性、問診的邏輯連貫性、治療方案的合理性、溝通和共情能力以及醫(yī)學倫理等關鍵維度。

從M2的回答上來看，可以看出溝通和共情能力很強。大多數人，在詢問醫(yī)療問題的時候，是很焦慮的，溝通和共情就是很關鍵的內容，這也是AI醫(yī)生的關鍵所在。

因為我們需要的并不是冷冰冰的機器，我們需要可以跟我們交流的、讓我們感受到溫暖的伙伴醫(yī)生。它需要能理解我們的病情，更能讀懂我們的情緒，在解釋病因、分析檢查結果、提出治療建議時，既有專業(yè)的嚴謹，又有耐心的關懷。

做RL都知道，獎勵做的好，RL成一半！M2還采用Multi-Stage RL策略，復雜任務拆解，逐步提高模型能力。

同時最有意思的一個東西，就是AI患者模擬器，這個我真是才知道，不過這個已經是Baichuan今年1月份發(fā)的論文了。

Paper：Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

AI患者模擬器可以模擬真實患者的情緒（如焦慮）、主動提問和非合作行為，最大程度還原了真實醫(yī)療場景，從而可以進一步提高整個的問診質量。

同時經過實驗發(fā)現，醫(yī)療問診和診斷是存在木桶效應的，問診質量直接決定診斷上限。同時提供4類問診動作分布分析，幫助定位醫(yī)生模型的提問短板，為模型訓練提供高質量素材。

然后RL的算法采用GRPO，同時做了以下修改：去除 KL 散度、Clip-higher、損失歸一化、 優(yōu)勢歸一化、動態(tài)長度獎勵等。

我沒部署，直接用的官方鏈接，

https://platform.baichuan-ai.com/playground?initialmodel=Baichuan-M2

為了更貼近臨床場景，我先找了一個真實問診案例，對比了擅長醫(yī)學的 GPT-5，結果發(fā)現 M2 在信息覆蓋度和細節(jié)處理上都很突出。

同樣，百川的回答像一份系患者就診指南，信息覆蓋全面，幫助患者梳理了相關情況，又引導患者高效、安全地就醫(yī)，風險提示十分明確，對潛在危險做了很好的預警。

很多垂域大模型一旦跳出專業(yè)范圍，就容易掉線，而 M2 在通用任務上的能力依然在線。就用了我之前常測的通用題來看看它的效果。

Prompt: 用水來兌水，得到的是濃水還是稀水

Prompt: 小紅有2個兄弟，3個姐妹，那么小紅的兄弟有幾個姐妹

Prompt：2024年年高考全國甲卷數學（文）試題

雖然在 RL 訓練后的表現中，回答稍微有些偏長，但邏輯性和準確性依舊可圈可點。這說明它的領域優(yōu)化并沒有犧牲掉太多通用能力，在實際落地中更具彈性和適配性。

最后想說，

想要做一個AI醫(yī)療產品，光有一個大模型當然是遠遠不夠的，

大模型只是基礎能力的起點，要真正走進臨床場景，權威醫(yī)學資料構建的底層知識庫是必不可少的，

還需要多層次的知識校驗體系，確保每一次診斷和建議都經過嚴謹驗證，減少錯誤與偏差。

只有當這些環(huán)節(jié)環(huán)環(huán)相扣，AI醫(yī)生才能既有溫度，又有精準度，既讓患者感到被理解，也能讓醫(yī)生在臨床決策中安心依賴。

這條路注定艱難，但我們依舊向前~

PS：現在AI醫(yī)療產品也有不少，看看最后誰能跑出來吧~

本文轉載自????????NLP工作站????????，作者：NLP工作站