解決人工智能偏見問題的重要步驟
偏見是機器學(xué)習(xí)中的一個重大問題,必須加以解決或緩解。企業(yè)需要采取重要步驟,幫助減輕未來的壓力。
無論人們認(rèn)為自己的文化、社會或環(huán)境意識有多強,偏見通常是每個人與生俱來的特質(zhì)。人們很自然地被那些能證實自己信念的事實所吸引。例如,大多數(shù)人認(rèn)為年輕人會比年長的同事更好地完成某些任務(wù),反之亦然。很多研究表明,相貌良好的求職者比相貌普通的求職者更容易被錄用。這樣的例子不勝枚舉。
作為人類,不能自信地說自己的決策是沒有偏見的。這個問題的根本原因是偏見在不知不覺中滋生和蔓延,使人們無法判斷自己所做的決定是否存在偏見。
這就是有偏見的人工智能算法的概念不應(yīng)該令人驚訝的原因,因為人工智能系統(tǒng)的全部意義就是復(fù)制人類的決策模式。為了構(gòu)建一個功能性的人工智能系統(tǒng),開發(fā)人員用大量解決特定問題的真實例子進(jìn)行訓(xùn)練。
例如,為了構(gòu)建一個可以幫助分類求職申請的人工智能系統(tǒng),開發(fā)工程師會向算法展示許多被錄用和被拒絕的簡歷。然后人工智能系統(tǒng)將找出影響決策的主要因素,開發(fā)者將測試系統(tǒng)的準(zhǔn)確性并進(jìn)行部署它。在這個簡單的例子中會出現(xiàn)兩個問題:一是人力資源專家的決策一開始就存在偏見,二是訓(xùn)練數(shù)據(jù)集可能不代表特定的性別、年齡、種族等數(shù)據(jù)。例如,從歷史上看,一家企業(yè)可能在無意中只雇傭男性應(yīng)聘者擔(dān)任前臺開發(fā)人員,這導(dǎo)致人工智能將女性應(yīng)聘者排除在外,甚至不給她們面試的機會。這就引出了消除人工智能偏見的第一種方法。
1.數(shù)據(jù)公平
人工智能在克服許多挑戰(zhàn)方面發(fā)揮了重要作用。然而,人工智能系統(tǒng)采用的數(shù)據(jù)必須結(jié)構(gòu)良好,并且盡可能不帶偏見。
在大多數(shù)情況下,人工智能出現(xiàn)偏見的最主要原因在于訓(xùn)練數(shù)據(jù),尤其是對于缺乏經(jīng)驗的開發(fā)人員或小公司來說。獲得一個足夠多樣化的數(shù)據(jù)集,需要將每個人口統(tǒng)計或任何其他關(guān)鍵屬性考慮在內(nèi),這是數(shù)據(jù)科學(xué)家夢寐以求的事情。這就是企業(yè)在開發(fā)人工智能時應(yīng)該盡力消除訓(xùn)練數(shù)據(jù)中的偏見的原因,并在開發(fā)過程的每個階段都考慮到這一點。
艾倫·圖靈研究所介紹了一種方法,旨在揭示數(shù)據(jù)集問題。例如,一家企業(yè)雇傭使用人工智能系統(tǒng)的前端開發(fā)人員。在這種情況下,為了確保算法是公平的,開發(fā)人員需要進(jìn)行一個簡單的測試,讓人工智能系統(tǒng)評估兩個擁有相同技能和經(jīng)驗的應(yīng)聘者,唯一的區(qū)別是性別或其他非必要的變量。公正的人工智能系統(tǒng)將會給這兩名應(yīng)聘者相同的評分,而不公正的人工智能會給男性應(yīng)聘者打出更高的分?jǐn)?shù),這表明該系統(tǒng)需要做出調(diào)整。
該研究所制定了一套指導(dǎo)方針,以幫助人工智能開發(fā)者確保模型的公平性。這些舉措將在解決人工智能的偏見問題方面發(fā)揮越來越重要的作用。
2.對抗性學(xué)習(xí)
除了有缺陷的數(shù)據(jù)集,在模型學(xué)習(xí)階段也會出現(xiàn)偏見。為了應(yīng)對這種情況,許多開發(fā)人員現(xiàn)在采用了對抗性學(xué)習(xí)方法。這意味著除了采用主模型(例如對應(yīng)用程序進(jìn)行排序的模型)之外,還需要采用另一個模型,該模型試圖根據(jù)主模型的結(jié)果找出敏感變量(年齡、性別、種族等)。如果主模型是無偏置的,對抗性模型將無法確定敏感屬性。數(shù)據(jù)科學(xué)家認(rèn)為這種技術(shù)是最有效、最容易使用的方法之一,因為與傳統(tǒng)的重新權(quán)衡方法不同,對抗性學(xué)習(xí)可以應(yīng)用于大多數(shù)建模方法。
3.基于拒絕選項的分類
最后,還有一些后處理技術(shù)可以幫助消除偏見。這種方法的吸引力在于,工程師和數(shù)據(jù)科學(xué)家不需要為調(diào)整模型或更改數(shù)據(jù)集而煩惱,因為只需要修改模型輸出即可。
拒絕基于選項的分類是最流行的后處理技術(shù)之一。本質(zhì)上,通過拒絕模型最不可信的預(yù)測來減少偏差。例如,可以將置信閾值設(shè)置為0.4。如果預(yù)測確定性為0.39或更低,人工智能系統(tǒng)將標(biāo)記輸出為具有偏見。
4.團(tuán)隊的多樣性
在人工智能領(lǐng)域的導(dǎo)航更多地依賴于對業(yè)務(wù)環(huán)境的理解,而不是人們通常認(rèn)為的那樣。毫無疑問,數(shù)據(jù)科學(xué)與數(shù)據(jù)處理密切相關(guān),但了解這些數(shù)據(jù)背后的內(nèi)容也同樣重要。即便如此,數(shù)據(jù)科學(xué)家無意識的偏見在影響他們的算法方面也發(fā)揮了關(guān)鍵作用。這就是消除人工智能中的偏見往往與雇用不同種族、性別和背景的人員密切相關(guān)的原因。
為了使招聘更加公平合理,企業(yè)需要采用更客觀的面試技巧。尤其是在大企業(yè),很多面試都局限于傳統(tǒng)的簡歷篩選。有遠(yuǎn)見和創(chuàng)新精神的企業(yè)需要將現(xiàn)實世界的基于項目的數(shù)據(jù)分析作為他們面試過程的核心部分。他們不僅會評估應(yīng)聘者在數(shù)據(jù)分析方面的科學(xué)表現(xiàn),還會確保他們能夠在商業(yè)環(huán)境中解釋研究結(jié)果。
隨著人工智能成為許多商業(yè)轉(zhuǎn)型背后的驅(qū)動力,必須建立明確的框架來解決人工智能中的偏見。人們需要認(rèn)識到無論采取什么措施,并不能完全減少偏見。然而,控制算法中的偏見要比控制人類的偏見要容易得多。