《Media Psychology》上的新研究發(fā)現(xiàn)，人工智能訓(xùn)練數(shù)據(jù)里的種族偏見(jiàn)，即便明晃晃地?cái)[在眼前，我們大多數(shù)人也根本看不出來(lái)。

賓夕法尼亞州立大學(xué)和俄勒岡州立大學(xué)的研究人員發(fā)表了一項(xiàng)研究，直接戳破了我們對(duì)自身洞察力的幻想。

這項(xiàng)研究的核心發(fā)現(xiàn)：普通用戶無(wú)法注意到AI訓(xùn)練數(shù)據(jù)中的偏見(jiàn)，特別是當(dāng)偏見(jiàn)將某個(gè)種族與某種特定情緒（比如快樂(lè)或悲傷）悄悄綁定時(shí)。

研究由賓夕法尼亞州立大學(xué)的S. Shyam Sundar教授主導(dǎo)，他和他的團(tuán)隊(duì)，包括俄勒岡州立大學(xué)的Cheng Chen助理教授以及賓夕法尼亞州立大學(xué)的博士生Eunchae Jang，一起設(shè)計(jì)了一系列巧妙的實(shí)驗(yàn)。他們找來(lái)了769名參與者，想看看人的眼睛到底能不能識(shí)破機(jī)器的“花招”。

偏見(jiàn)就在眼前

研究團(tuán)隊(duì)做的第一件事，是創(chuàng)建了12個(gè)不同版本的AI原型系統(tǒng)。這些系統(tǒng)都號(hào)稱能識(shí)別你的面部表情，但它們各自“喂”的訓(xùn)練數(shù)據(jù)都動(dòng)了手腳。

研究人員給參與者看AI的訓(xùn)練數(shù)據(jù)樣本。在一個(gè)版本里，代表“快樂(lè)”情緒的頭像照片，絕大多數(shù)是白人面孔；而代表“悲傷”情緒的，則主要是黑人面孔。

這是一種赤裸裸的偏見(jiàn)植入，它在暗示機(jī)器：白人等于快樂(lè)，黑人等于悲傷。

然后，研究人員問(wèn)參與者：“你覺(jué)得這個(gè)AI系統(tǒng)對(duì)每個(gè)種族群體都公平嗎？”

結(jié)果讓人大跌眼鏡。

絕大多數(shù)參與者，看著這些明顯失衡的數(shù)據(jù)，回答說(shuō)：沒(méi)注意到任何偏見(jiàn)。

領(lǐng)導(dǎo)這項(xiàng)研究的S. Shyam Sundar教授坦言：“我們感到非常驚訝，人們竟然沒(méi)有意識(shí)到種族和情緒在這里被混淆了，即某個(gè)種族比其他種族更有可能在訓(xùn)練數(shù)據(jù)中代表特定情緒——即使證據(jù)就擺在他們眼前?！?/span>

他補(bǔ)充道：“對(duì)我來(lái)說(shuō)，這是這項(xiàng)研究最重要的發(fā)現(xiàn)?！?/span>

人們的眼睛似乎被什么東西蒙住了。他們看到了數(shù)據(jù)，卻沒(méi)有看到數(shù)據(jù)背后的不公。

研究團(tuán)隊(duì)把偏見(jiàn)推向了另一個(gè)極端：代表性不足。

這次，他們給參與者展示的訓(xùn)練數(shù)據(jù)里，無(wú)論是“快樂(lè)”還是“悲傷”的類別，都只有白人的照片。其他種族的面孔，完全消失了。

這模擬了現(xiàn)實(shí)世界中某些數(shù)據(jù)集完全缺乏多樣性的情況。

結(jié)果同樣，大多數(shù)人還是沒(méi)能指出這里存在問(wèn)題。仿佛在他們看來(lái)，一個(gè)只認(rèn)識(shí)白人面孔的AI，是完全正常的。

這兩個(gè)實(shí)驗(yàn)揭示了一個(gè)令人不安的現(xiàn)實(shí)：數(shù)據(jù)偏見(jiàn)，是一種隱形的存在。它不像一個(gè)程序錯(cuò)誤那樣會(huì)彈出警告，它只是安靜地潛伏在海量數(shù)據(jù)中，而我們的大腦似乎并不擅長(zhǎng)主動(dòng)去搜尋這種系統(tǒng)性的不平衡。

我們只在機(jī)器犯錯(cuò)時(shí)才察覺(jué)不妥

那到底要到什么時(shí)候，人們才會(huì)開(kāi)始懷疑AI有問(wèn)題？

研究找到了答案：直到AI的性能表現(xiàn)出明顯的偏見(jiàn)時(shí)。

在實(shí)驗(yàn)中，當(dāng)AI系統(tǒng)開(kāi)始“犯錯(cuò)”，比如它能精準(zhǔn)識(shí)別白人的情緒，卻頻繁地錯(cuò)誤分類黑人的情緒時(shí)，參與者才終于開(kāi)始警覺(jué)。

這時(shí)候，人們會(huì)說(shuō)：“哦，這個(gè)AI好像有偏見(jiàn)?！?/span>

主要作者Cheng Chen指出了這個(gè)現(xiàn)象的關(guān)鍵：“偏見(jiàn)在性能方面是非常有說(shuō)服力的。當(dāng)人們看到AI系統(tǒng)表現(xiàn)出種族偏見(jiàn)時(shí)，他們忽略了訓(xùn)練數(shù)據(jù)特征，而是基于有偏見(jiàn)的結(jié)果形成他們的看法?！?/span>

它說(shuō)明，我們判斷一個(gè)AI是否公平，依賴的不是其內(nèi)在的構(gòu)成（訓(xùn)練數(shù)據(jù)），而是其外在的表現(xiàn)（輸出結(jié)果）。我們傾向于默認(rèn)技術(shù)是中立和可靠的，把它當(dāng)成一個(gè)黑箱，只要這個(gè)黑箱吐出的結(jié)果看起來(lái)沒(méi)問(wèn)題，我們就不會(huì)去質(zhì)疑黑箱里面裝了什么。

這種“結(jié)果導(dǎo)向”的信任模式非常危險(xiǎn)。

因?yàn)樗馕吨?，只要一個(gè)有偏見(jiàn)的AI系統(tǒng)在大部分時(shí)間里表現(xiàn)得足夠好，或者它的偏見(jiàn)受害者沒(méi)有機(jī)會(huì)發(fā)聲，那么這種偏見(jiàn)就可能永遠(yuǎn)不會(huì)被大多數(shù)用戶發(fā)現(xiàn)。它會(huì)持續(xù)地、悄無(wú)聲息地運(yùn)行下去，加劇現(xiàn)實(shí)世界的不公。

Sundar教授指出，這項(xiàng)研究與其說(shuō)是關(guān)于技術(shù)，不如說(shuō)是關(guān)于人類心理學(xué)。

他說(shuō)，人們有一種傾向，“信任AI是中立的，即使它不是”。

這種不自覺(jué)的信任，是AI偏見(jiàn)能夠大行其道的心理溫床。我們輕易地交出了判斷權(quán)，默認(rèn)機(jī)器是客觀的、超越人類偏見(jiàn)的。但我們忘了，機(jī)器是從人類創(chuàng)造的數(shù)據(jù)中學(xué)習(xí)的，它學(xué)的不是客觀世界，而是我們已經(jīng)記錄下來(lái)的、充滿偏見(jiàn)的人類世界。

冰凍三尺，非一日之寒

AI的偏見(jiàn)問(wèn)題，尤其是面部識(shí)別領(lǐng)域的種族偏見(jiàn)，其實(shí)早已不是什么新聞。

美國(guó)國(guó)防部在90年代就啟動(dòng)了面部識(shí)別技術(shù)項(xiàng)目（FERET），建立大型數(shù)據(jù)庫(kù)來(lái)訓(xùn)練和評(píng)估算法。2001年的超級(jí)碗（Super Bowl）比賽上，警方甚至用它來(lái)掃描觀眾，試圖找出通緝犯。雖然這次應(yīng)用因?yàn)榍址鸽[私而備受爭(zhēng)議，但也預(yù)示著一個(gè)新時(shí)代的到來(lái)。

真正的革命發(fā)生在2010年代，隨著機(jī)器學(xué)習(xí)和AI的爆發(fā)。深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)（CNNs），讓計(jì)算機(jī)識(shí)別人臉的能力發(fā)生了質(zhì)的飛躍。

14年，F(xiàn)acebook的DeepFace系統(tǒng)，在人臉比對(duì)測(cè)試中的準(zhǔn)確率達(dá)到了97%，幾乎和人眼一樣準(zhǔn)。谷歌緊隨其后，推出了FaceNet系統(tǒng)，進(jìn)一步提升了性能。今天的面部識(shí)別技術(shù)，已經(jīng)可以在光線不足、角度刁鉆的各種復(fù)雜條件下工作。

技術(shù)一路狂奔，但一個(gè)幽靈始終徘徊不去：偏見(jiàn)。

18年，麻省理工學(xué)院媒體實(shí)驗(yàn)室的Joy Buolamwini和Timnit Gebru發(fā)表了一項(xiàng)里程碑式的研究，名為“性別色調(diào)”（Gender Shades）。

她們測(cè)試了當(dāng)時(shí)市面上幾大主流的商業(yè)面部識(shí)別系統(tǒng)，結(jié)果震驚了整個(gè)科技界。

數(shù)據(jù)顯示，這些系統(tǒng)在識(shí)別淺膚色男性時(shí)，錯(cuò)誤率低至0.8%。

但在識(shí)別深膚色女性時(shí)，錯(cuò)誤率飆升至34.7%。

這不是簡(jiǎn)單的誤差，這是系統(tǒng)性的失效。

一年后，美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）的官方測(cè)試也得出了類似結(jié)論：面部識(shí)別技術(shù)在中年白人男性身上效果最好，而對(duì)于有色人種、女性、兒童和老年人，準(zhǔn)確率則要差得多。

根源就在于訓(xùn)練數(shù)據(jù)。

美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院在2022年的一份報(bào)告中明確指出：“AI偏見(jiàn)的很大一部分源于人類偏見(jiàn)和系統(tǒng)性、制度性偏見(jiàn)?！?/span>

機(jī)器本身沒(méi)有偏見(jiàn)，是數(shù)據(jù)把人類社會(huì)的偏見(jiàn)“喂”給了它。

而這研究，則是在探究“病因”的另一個(gè)層面：為什么我們作為用戶和旁觀者，會(huì)對(duì)這種病的早期癥狀（有偏見(jiàn)的數(shù)據(jù)）如此麻木？

誰(shuí)更容易看到偏見(jiàn)？

這項(xiàng)研究還有一個(gè)更深層次的發(fā)現(xiàn)，它關(guān)于我們每個(gè)人的身份和視角。

在最后一個(gè)實(shí)驗(yàn)中，研究團(tuán)隊(duì)做了一個(gè)關(guān)鍵調(diào)整。在前兩個(gè)實(shí)驗(yàn)里，參與者來(lái)自各種族裔背景，但白人占多數(shù)。而在第三個(gè)實(shí)驗(yàn)中，他們特意招募了同等數(shù)量的黑人和白人參與者。

他們想看看，不同族裔的人，在看待AI偏見(jiàn)時(shí)，視角是否會(huì)有不同。

實(shí)驗(yàn)呈現(xiàn)了五種不同的情況，包括之前實(shí)驗(yàn)中的“快樂(lè)白人/悲傷黑人”、“全部白人”，以及它們的反例，如“快樂(lè)黑人/悲傷白人”、“全部黑人”，外加一個(gè)沒(méi)有明顯種族與情緒關(guān)聯(lián)的“中立”版本。

結(jié)果出現(xiàn)了顯著的差異。

黑人參與者，比白人參與者，更有可能識(shí)別出AI訓(xùn)練數(shù)據(jù)中的種族偏見(jiàn)。

他們最敏感的情況，是當(dāng)看到自己的族群被與負(fù)面情緒（悲傷）過(guò)度關(guān)聯(lián)時(shí)。也就是說(shuō)，當(dāng)黑人參與者看到訓(xùn)練數(shù)據(jù)里，“悲傷”的例子大多是黑人面孔時(shí)，他們最容易警覺(jué)，并指出這其中有問(wèn)題。

這表明，那些在現(xiàn)實(shí)世界中處于被負(fù)面刻板印象所困擾的群體，對(duì)于技術(shù)世界里同樣的偏見(jiàn)模式，有著更強(qiáng)的“免疫力”或“識(shí)別力”。他們的個(gè)人經(jīng)歷和社會(huì)處境，似乎磨礪出了一種更敏銳的“偏見(jiàn)探測(cè)雷達(dá)”。

反之，那些處于優(yōu)勢(shì)地位或未被負(fù)面表征的群體，則更容易對(duì)這些偏見(jiàn)視而不見(jiàn)。

這不再是一個(gè)技術(shù)問(wèn)題，甚至不只是一個(gè)心理學(xué)問(wèn)題，它觸及了深刻的社會(huì)學(xué)議題。我們每個(gè)人的社會(huì)身份，都在塑造我們看待世界，包括看待技術(shù)世界的方式。技術(shù)并非一個(gè)客觀中立的真空，它是一個(gè)折射和放大社會(huì)現(xiàn)實(shí)的棱鏡。而我們每個(gè)人，看到的都是棱鏡折射后，與自己位置相關(guān)的光。

這項(xiàng)研究用數(shù)據(jù)清晰地量化了這種感知上的差異。它告訴我們，當(dāng)我們討論AI的“公平性”時(shí)，我們不能假設(shè)所有人對(duì)“公平”的感知和定義都是一樣的。

研究啟示

這項(xiàng)研究它挑戰(zhàn)了“技術(shù)客觀論”的神話，揭示了人類在認(rèn)知技術(shù)偏見(jiàn)方面的巨大盲區(qū)。我們的大腦似乎沒(méi)有進(jìn)化出一種能輕易識(shí)別算法系統(tǒng)性偏見(jiàn)的能力。

既然普通用戶靠不住，那么指望通過(guò)用戶反饋來(lái)監(jiān)督和修正AI偏見(jiàn)，這條路基本上是走不通的。責(zé)任的重?fù)?dān)，必須落在AI的開(kāi)發(fā)者、部署者和監(jiān)管者身上。

他們需要采取更主動(dòng)、更前置的措施來(lái)確保公平。這不僅僅是技術(shù)層面的算法去偏，更包括在數(shù)據(jù)收集、標(biāo)注、審核等每一個(gè)環(huán)節(jié)，都要建立起嚴(yán)格的“偏見(jiàn)審查”機(jī)制。

研究團(tuán)隊(duì)也表示，他們未來(lái)的方向，是研究如何能更好地向用戶、開(kāi)發(fā)者和政策制定者傳達(dá)AI中固有的偏見(jiàn)。提高整個(gè)社會(huì)的媒體素養(yǎng)和AI素養(yǎng)，可能是解決問(wèn)題的一部分。

想象一下這個(gè)循環(huán)：

1. 充滿偏見(jiàn)的社會(huì)數(shù)據(jù)被用來(lái)訓(xùn)練AI。
2. AI學(xué)習(xí)并放大了這些偏見(jiàn)。
3. 由于大多數(shù)人無(wú)法識(shí)別這種內(nèi)在偏見(jiàn)，他們信任并使用這個(gè)AI。
4. AI有偏見(jiàn)的結(jié)果（比如在招聘、信貸、司法等領(lǐng)域）影響了現(xiàn)實(shí)世界，進(jìn)一步固化了原有的社會(huì)不公。
5. 這種被加劇的不公，又會(huì)產(chǎn)生新的、偏見(jiàn)更深的數(shù)據(jù)，被用來(lái)訓(xùn)練下一代AI。

這是一個(gè)能自我加強(qiáng)的惡性循環(huán)。而這項(xiàng)研究發(fā)現(xiàn)的人類認(rèn)知盲點(diǎn)，正是這個(gè)循環(huán)得以順暢運(yùn)轉(zhuǎn)的關(guān)鍵潤(rùn)滑劑。

我們是否愿意承認(rèn)自己視野的局限？我們是否愿意去傾聽(tīng)那些更容易受到技術(shù)偏見(jiàn)傷害的群體的聲音？

當(dāng)我們凝視AI時(shí)，看到的其實(shí)是我們自己。