用AI識(shí)別內(nèi)部人威脅面臨的道德規(guī)范
還記得湯姆·克魯斯的《少數(shù)派報(bào)告》嗎?人工智能可識(shí)別昭示未來風(fēng)險(xiǎn)的員工行為。該如何有效且有道德地使用這一數(shù)據(jù)呢?
為保護(hù)公司網(wǎng)絡(luò)不受惡意軟件、數(shù)據(jù)滲漏和其他威脅的侵害,安全部門設(shè)置了多套系統(tǒng)以監(jiān)視電子郵件流量、URL和雇員行為。運(yùn)用人工智能(AI)和機(jī)器學(xué)習(xí)(ML),這些監(jiān)視數(shù)據(jù)也能用于預(yù)測(cè),看員工是否計(jì)劃盜取數(shù)據(jù)、欺瞞公司、參與內(nèi)部人交易、性騷擾其他員工等。
隨著AI越來越強(qiáng)大,公司企業(yè)需作出道德上的判斷,確定如何使用該新能力監(jiān)視員工,尤其要確認(rèn)該注意哪些行為,以及確定何種干預(yù)才是恰當(dāng)?shù)?。信息安全團(tuán)隊(duì)將奮戰(zhàn)在AI運(yùn)用第一線。
事實(shí)上,某些有關(guān)員工行為的預(yù)測(cè)現(xiàn)在就可行了。比如在員工提交離職申請(qǐng)之前就預(yù)判其辭職意圖,已經(jīng)是相當(dāng)容易做到的事。某財(cái)富500強(qiáng)公司在10年前就開始做員工離職意圖預(yù)測(cè),可靠性相當(dāng)高。
我們來舉個(gè)例子,即將離開公司的雇員會(huì)向其私人郵箱發(fā)送更多帶附件的電子郵件。安全團(tuán)隊(duì)需對(duì)此多加關(guān)注,因?yàn)橛幸怆x職的員工可能想要在離開時(shí)帶走一些敏感信息,會(huì)試圖在向經(jīng)理透露離職計(jì)劃前早點(diǎn)兒下載好所需一切。
這種安全上的顧慮并非空穴來風(fēng),而員工也早就知曉公司的工作郵箱監(jiān)控政策。大多數(shù)情況下,如果公司知道某員工打算離職,會(huì)將其放入高風(fēng)險(xiǎn)用戶列表中加以更加嚴(yán)格的管控。
信息安全人員不會(huì)向該雇員的經(jīng)理透露其離職意圖。但如果該雇員在偷取公司信息,情況就不同了,安全團(tuán)隊(duì)會(huì)向經(jīng)理發(fā)出警報(bào),并與涉事員工商談此事。
什么情況下可以讀取雇員電子郵件?
大多數(shù)公司都會(huì)告知員工他們的電子郵件通信和互聯(lián)網(wǎng)使用情況處在公司監(jiān)視之下。很少有公司會(huì)密切關(guān)注員工的個(gè)人通信。即便使用AI和ML發(fā)現(xiàn)網(wǎng)絡(luò)威脅,也不會(huì)去讀取員工的電子郵件內(nèi)容。
比如說,公司企業(yè)可以從員工的日常行為中判斷出某人是否在找尋其他工作機(jī)會(huì),但這種判斷未必準(zhǔn)確,因?yàn)閱T工可能得不到另謀高就的機(jī)會(huì),或者拒絕其他公司的聘請(qǐng)。
數(shù)據(jù)科學(xué)家如今對(duì)人的理解比以前更加完備了。如果有人懷疑自己可能得了癌癥,他們或許會(huì)上網(wǎng)查找相關(guān)信息,監(jiān)視搜索動(dòng)作就有可能在他們證實(shí)自己的病情之前就了解到這事兒。
還有的公司想要預(yù)測(cè)更多,比如員工是否吸毒、是否招妓、是否有辦公室戀情等等。
對(duì)員工行為監(jiān)視太緊的風(fēng)險(xiǎn)之一,是可能會(huì)傷害到員工士氣。員工確實(shí)或顯式或隱式地同意被監(jiān)視。監(jiān)視是合法的,沒有問題,他們簽署了這項(xiàng)權(quán)利。但沒人會(huì)去讀取他們的郵件內(nèi)容,公司也一直在提醒員工他們的郵箱是被監(jiān)視的。
在某些領(lǐng)域,比如金融服務(wù)業(yè),雇員會(huì)定期收到自己的通信處于監(jiān)視之下的提醒。絕大多數(shù)工作場(chǎng)所都會(huì)反復(fù)提醒員工這一點(diǎn)。
不僅僅是電子郵件和瀏覽歷史會(huì)饋送給AI系統(tǒng)。將同樣的智能和分析工具應(yīng)用到從其他源收集來的雇員軟性數(shù)據(jù)上并不是太難。這些軟性數(shù)據(jù)包括與其他雇員的互動(dòng)、從安全攝像頭和大樓訪問控制系統(tǒng)中抽取的信息等等。
什么時(shí)候針對(duì)預(yù)測(cè)采取行動(dòng)?
一旦公司收集并分析了數(shù)據(jù),形成了有關(guān)某些潛在危險(xiǎn)行為的預(yù)測(cè),可以采取一些相應(yīng)的措施加以應(yīng)對(duì),輕至忽略預(yù)測(cè),重至開除員工。
一些情況下,公司企業(yè)不應(yīng)越過法律界限,比如懷孕就是一種受保護(hù)的狀態(tài),因?yàn)閱T工搜索生育相關(guān)的公司就炒掉員工,是不可取的行為。
其他情況則更多屬于灰色地帶。比如,某員工計(jì)劃滲漏敏感數(shù)據(jù),或者在公司服務(wù)器上安裝未經(jīng)允許的加密貨幣挖礦軟件。這種情況會(huì)引起安全團(tuán)隊(duì)的注意。是否需要干預(yù)取決于他們會(huì)不會(huì)帶來傷害。直接炒掉,或者報(bào)告他們的經(jīng)理,可能會(huì)令他們背上污名。
處理潛在有害行為的一種方法,是查看其是否是更嚴(yán)重問題的表征。如果有員工計(jì)劃在公司服務(wù)器上安裝加密貨幣軟件,或許想這么干的人不止被發(fā)現(xiàn)的那幾個(gè)。
這種情況下,公司可以考慮采取更為廣泛的響應(yīng)。比如在全公司范圍內(nèi)設(shè)置網(wǎng)絡(luò)限速,這樣就不會(huì)凸顯出被預(yù)測(cè)想裝挖礦軟件的那些員工,他們不會(huì)因?yàn)樯形磳?shí)施的罪行而受到懲罰。
類似的,如果某雇員想要離開公司,可能別的雇員也有想走的意愿,只是表現(xiàn)得沒那么明顯??梢詫?duì)他們采取些有用的措施,比如正向干預(yù),避免影響到他們的名譽(yù)和工作。
有時(shí)候會(huì)很難下決定。比如性騷擾,即便有相當(dāng)程度的預(yù)測(cè)準(zhǔn)確性,在“我也被騷擾”時(shí)代,揭示該預(yù)測(cè)結(jié)果肯定會(huì)對(duì)公司產(chǎn)生影響。這是個(gè)在道德上比較兩難的領(lǐng)域。
介入并懲罰“未來的”騷擾者,或者調(diào)離即將被騷擾的目標(biāo)對(duì)象,可能會(huì)影響到公司。應(yīng)與專精此類非共識(shí)性關(guān)系的社會(huì)科學(xué)家合作,找出既不因未發(fā)生的事懲罰某人,又切實(shí)消除可導(dǎo)致性騷擾發(fā)生的其他因素的介入方式。
洛杉磯郡人力資源部現(xiàn)在就很關(guān)心這個(gè)問題。洛杉磯郡有11.1萬(wàn)名雇員,目前正在更新有關(guān)人際關(guān)系的策略和規(guī)程以防止雇員遭到傷害。
無(wú)論政府部門還是私營(yíng)產(chǎn)業(yè),洛杉磯郡在平等問題上一直都是急先鋒,推動(dòng)了很多數(shù)字化轉(zhuǎn)型項(xiàng)目,還將AI用到了HR調(diào)查中。
過程自動(dòng)化和行為模式分析也是洛杉磯郡想要部署的技術(shù)。但目的不是個(gè)人化跟蹤和分析,這有違道德準(zhǔn)線和法律準(zhǔn)繩。技術(shù)不是用來預(yù)測(cè)個(gè)人行為的。
相反,引入AI、自動(dòng)化和行為分析等技術(shù),是要找出特定行為模式的貢獻(xiàn)因素,找到行為集群,創(chuàng)建訓(xùn)練策略和干預(yù)方法,強(qiáng)化良性行為并最少化惡性行為。
洛杉磯郡使用OpenText的技術(shù)跟蹤人們的桌面電腦和電子郵件使用情況,在趨勢(shì)形成過程中看清趨勢(shì)本身,也就是在事發(fā)前主動(dòng)作為,而不是事發(fā)后亡羊補(bǔ)牢。
但也有些情況是可以立即采取個(gè)人干預(yù)的,那就是在網(wǎng)絡(luò)安全領(lǐng)域。如果員工的行事方式昭示著潛在安全問題,那么與該員工或其經(jīng)理談話就是比較合適的處理方式??梢詥枂柺欠裼惺裁礃I(yè)務(wù)上的原因讓他們這么做,或者是不是有什么不太好的事情發(fā)生。
如果某員工在用另一個(gè)人的電腦,從非常規(guī)地點(diǎn)登錄,并試圖導(dǎo)出大量數(shù)據(jù),這有可能是良性的,也有可能是安全問題的指征。這種判斷與用AI和ML做確定性判定不一樣。當(dāng)前的AI和ML還做不到動(dòng)機(jī)判斷。
比較合適的起點(diǎn)就是假設(shè)這些行為是中性的。這是與既當(dāng)法官又當(dāng)陪審團(tuán)的《少數(shù)派報(bào)告》的最主要差異。
尋求隱私專家的幫助
3年前,美國(guó)第三大健康保險(xiǎn)公司Aetna開始尋找更好的身份驗(yàn)證技術(shù)。
為輔助身份驗(yàn)證,Aetna廣泛收集客戶和員工的行為數(shù)據(jù)。技術(shù)可以捕獲行為信息,但某些屬性并非良性,可破壞個(gè)人隱私。
這些行為信息,若加上機(jī)器學(xué)習(xí)分析,可令公司企業(yè)深入了解個(gè)人?;蛟S了解到超出法律允許范圍的程度。為避免出現(xiàn)類似《少數(shù)派報(bào)告》中的情況,Aetna對(duì)所收集信息的類型和使用方法都做了限制。
首先,該公司引入一些專家,秉承公司核心價(jià)值來確定應(yīng)該收集和不應(yīng)當(dāng)收集的數(shù)據(jù)點(diǎn)。首席隱私官及其團(tuán)隊(duì)都被納入進(jìn)來,幫公司挑出那些不會(huì)引發(fā)隱私問題的數(shù)據(jù)點(diǎn)。最終有20-25%本可以捕獲的屬性被剔除了。
例如,消費(fèi)者和雇員的瀏覽器歷史信息就是可以收集而未被納入的一類。
其次,移動(dòng)App之類收集的行為信息經(jīng)處理,以便留下每位用戶的行為模式,而要評(píng)估的新行為模式,則從不暴露。只要這些信息有丁點(diǎn)兒暴露,就毫無(wú)隱私敏感性可言了。這就是一堆數(shù)字和公式。比如,地理定位的使用就很謹(jǐn)慎,只用于做對(duì)比,從不存儲(chǔ)。
即便黑客深入風(fēng)險(xiǎn)引擎系統(tǒng),能夠解碼公式,這些公式也是隨時(shí)在變的。公司價(jià)值有助確定實(shí)際控制措施的設(shè)計(jì)。Aetna設(shè)計(jì)了可接受算法公式而非實(shí)際屬性和特征的風(fēng)險(xiǎn)引擎。
有關(guān)AI在員工行為預(yù)測(cè)中的用法,任何公司的策略都應(yīng)把公司價(jià)值和透明性,還有人的判斷,放在核心位置。AI應(yīng)被看作是有指導(dǎo)的學(xué)習(xí)系統(tǒng),由人做出最終決策?;谕该餍院蛢r(jià)值統(tǒng)一建立起道德策略,并通過保留人在預(yù)測(cè)過程中的位置來實(shí)施該策略。
使用行為數(shù)據(jù)有哪些法律問題?
使用AI預(yù)測(cè)并阻止危險(xiǎn)雇員行為的公司企業(yè),需做好保護(hù)雇員、客戶及公司本身,與維護(hù)雇員人權(quán)之間的平衡。有跡象表明美國(guó)法律可能朝著嚴(yán)加保護(hù)個(gè)人隱私的方向發(fā)展,包括雇員的個(gè)人隱私。
另外,AI技術(shù)本身也可能并不準(zhǔn)確,或者說,不公平。舉個(gè)例子,如果測(cè)試發(fā)現(xiàn)從臺(tái)位上站起次數(shù)越多就越有可能是騷擾者,而一部分女性因?yàn)閼言谢驍D奶而不得不頻繁站起,那測(cè)試對(duì)懷孕女性就不公平了。如果測(cè)試可靠、有效、無(wú)偏頗,雇主就可以像使用其他性格測(cè)試或任意可觀方法一樣,用該測(cè)試來針對(duì)所標(biāo)出的人了。
關(guān)鍵就在于規(guī)則應(yīng)用的一致性。如果雇主想要基于AI學(xué)到的東西(比如AI標(biāo)記不恰當(dāng)網(wǎng)上言論)采取行動(dòng),就得確定出能觸發(fā)行動(dòng)的閾值,然后確保在以后的案例中一直照此執(zhí)行。
所采取的動(dòng)作也需恰當(dāng)可行。比如說,如果有人告訴HR某同事利用病假去旅行,恰當(dāng)?shù)捻憫?yīng)應(yīng)該是去調(diào)查,即便尚無(wú)任何確切證據(jù)指征不當(dāng)行為。紀(jì)律處分應(yīng)在調(diào)查之后進(jìn)行。
雇主是不是通過AI系統(tǒng)獲知潛在不當(dāng)行為倒是無(wú)關(guān)緊要。關(guān)鍵在于處理過程中的風(fēng)險(xiǎn)和一致性。
如果AI預(yù)測(cè)準(zhǔn)確,而公司沒能做出保護(hù)員工的舉動(dòng),那就有可能導(dǎo)致法律責(zé)任了。比如說,如果公司知道或應(yīng)該知道有員工會(huì)性騷擾其他員工或?qū)ν伦龀霾划?dāng)舉動(dòng),那公司可能面臨“留任失當(dāng)”的起訴。雖然這些起訴通常五花八門難以證明,當(dāng)涉及監(jiān)視雇員社交媒體使用和在線發(fā)帖情況的時(shí)候,雇主就已經(jīng)某種程度上面臨這種問題了。
公司企業(yè)應(yīng)謹(jǐn)慎選擇用AI監(jiān)視雇員以預(yù)測(cè)潛在不當(dāng)行為,除非工作場(chǎng)所AI使用方面的法律更加明確,且AI系統(tǒng)被證明是可靠的。否則,公司或許要為依賴有可能影響到部分人群的系統(tǒng)而擔(dān)責(zé)。
【本文是51CTO專欄作者“”李少鵬“”的原創(chuàng)文章,轉(zhuǎn)載請(qǐng)通過安全牛(微信公眾號(hào)id:gooann-sectv)獲取授權(quán)】