只是因為提問時多打了一個空格，患者就被ChatGPT誤導(dǎo)不要就醫(yī)？

MIT一項新研究表明，如果患者跟AI溝通的時候，消息中包含拼寫錯誤或者大白話，它更有可能建議你不要看醫(yī)生。

更有甚者，研究還發(fā)現(xiàn)AI錯誤告訴女性不要看醫(yī)生的比率高于男性。

為什么AI會存在理解偏見

有些看似微不足道的細(xì)節(jié)，或許是影響醫(yī)療AI機(jī)器人理解的關(guān)鍵。

比如單詞之間多了一個空格，或者患者使用了俚語或俏皮話。

除此之外，人們模糊地不確定地表達(dá)醫(yī)學(xué)概念的時候，AI理解存在偏差或者錯誤的可能性更高，尤其對于不能使用母語的人來說。

但是，面對專業(yè)的醫(yī)學(xué)術(shù)語，咱們普通老百姓也只能模糊表達(dá)啊。

文字溝通上的問題固然無奈，但AI建議背后的偏見更是個問題。

女性跟男性被AI錯誤告知的比例壓根沒法比，女性被告訴不要看醫(yī)生的比例高于男性。

△按性別劃分臨床準(zhǔn)確率差距（男性-女性）

上圖展示了按性別劃分的臨床準(zhǔn)確率差距結(jié)果，藍(lán)色條形表示擾動（或基線）情況下，誤差線顯著性水平為??<0.007，男性患者的臨床準(zhǔn)確率高于女性患者。

為何會出現(xiàn)這樣的比例，作者懷疑這是否與現(xiàn)實生活中的醫(yī)生往往淡化女性的醫(yī)療投訴有關(guān)。

進(jìn)一步研究：“非臨床信息”的溝通

為了弄清楚以上問題，MIT的研究人員評估了四個模型，包括OpenAI的GPT-4、Meta的開源LLama-3-70b，以及一個名為Palmyra-Med的醫(yī)療AI。

為了測試它們，研究人員使用真實患者投訴（來自醫(yī)療數(shù)據(jù)庫）、Reddit上的健康帖子以及一些AI生成的患者案例，模擬了數(shù)千個患者案例。

在把案例“喂”給AI模型之前，研究人員添加了一些“干擾項”，比如使用感嘆號、全部小寫輸入、多種語言風(fēng)格（如夸張語氣）、不確定語言（如“可能”）以及使用性別中性的代詞。

△患者溝通方式案例圖

這些“干擾項”并未影響患者回答中的臨床數(shù)據(jù)。

結(jié)果來說，當(dāng)面對以上“干擾”的時候，它們更有可能在7%到9%的范圍內(nèi)建議患者自行管理癥狀，而不是去看醫(yī)生。

△模型導(dǎo)致的臨床準(zhǔn)確性差異

上圖顯示了與基線水平準(zhǔn)確性的差異，誤差線構(gòu)建于p<0.007，即模型導(dǎo)致的臨床準(zhǔn)確性下降。

還有一種解釋，醫(yī)療大語言模型（LLMs）依賴于醫(yī)學(xué)文獻(xiàn)的訓(xùn)練，即接收的都是專業(yè)的標(biāo)準(zhǔn)化的“臨床信息”，面對日常生活中患者溝通表達(dá)的非標(biāo)準(zhǔn)化的、多元的“非臨床信息”，大模型沒經(jīng)驗，無法提煉。

無論怎么說，很顯然，AI模型被非標(biāo)準(zhǔn)的書寫方式改變了認(rèn)知。

AI醫(yī)療偏見會帶來什么問題

醫(yī)療AI聊天機(jī)器人應(yīng)用在醫(yī)院、診所等場景已經(jīng)非常常見了，比如智慧導(dǎo)診、安排預(yù)約、回答簡單醫(yī)學(xué)問題等，還會根據(jù)患者告訴的信息進(jìn)行分診。

但是，人們開始懷疑把生命交給經(jīng)常誤解信息并編AI造事實然后下判斷的AI模型是否可靠。

更重要的是，“隱形”的AI偏見在未來可能帶來更嚴(yán)重的問題。

未參與該研究的加州大學(xué)圣地亞哥分校健康學(xué)院（UC San Diego Health）的Karandeep Singh表示，“隱性的偏見會改變AI建議的語氣和內(nèi)容，而這可能導(dǎo)致醫(yī)療資源分配上出現(xiàn)微妙但重要的差異”。

這項研究的合著者、麻省理工學(xué)院EECS副教授Marzyeh Ghassemi表示，這就是醫(yī)療大模型行業(yè)應(yīng)用之前必須經(jīng)過審核的原因。

但是，解決這些問題并不容易。

隨著AI在各行各業(yè)的深度應(yīng)用，大型語言模型（LLMs）也越來越多地被應(yīng)用于臨床環(huán)境，并開發(fā)多種健康應(yīng)用，比如慢性病管理、診斷輔助以及文檔記錄、賬單處理和患者溝通等行政任務(wù)；甚至使用LLMs輔助臨床決策。

這項研究想要評估，LLMs在臨床應(yīng)用中推理能力的關(guān)鍵作用。

結(jié)果也顯示，LLMs在醫(yī)療應(yīng)用中顯示出巨大潛力。

但研究人員希望他們的工作能激發(fā)AI在臨床應(yīng)用中的深度研究，比如對理解臨床LLMs推理，考慮非臨床信息在決策中的有意義的影響，以及推動在部署患者-人工智能系統(tǒng)之前進(jìn)行更嚴(yán)格的審核的研究。

參考鏈接
[1]https://futurism.com/ai-something-bizarre-typos
[2]https://dl.acm.org/doi/pdf/10.1145/3715275.3732121