2017 年，《經(jīng)濟學人》宣稱，數(shù)據(jù)已經(jīng)超越石油成為世界上最有價值的資源。從那以后，這種說法一直在重復。各個行業(yè)的企業(yè)一直并將繼續(xù)在數(shù)據(jù)和分析領(lǐng)域進行大量投入。但就像石油一樣，數(shù)據(jù)和分析領(lǐng)域也有其陰暗面。

根據(jù)《2022 年首席信息官狀況》報告，35% 的 IT 領(lǐng)導者表示，數(shù)據(jù)和業(yè)務分析領(lǐng)域?qū)⒃诮衲晖苿悠涔具M行最大的 IT 投資。20% 的 IT 領(lǐng)導者表示，機器學習/人工智能將推動企業(yè)進行最大的 IT 投資。從機器學習算法驅(qū)動的業(yè)務舉措和從分析工作中獲取的洞察力可為企業(yè)帶來競爭優(yōu)勢，但一些錯誤可能會使企業(yè)在聲譽、收入甚至生命方面付出高昂的代價。

了解你的數(shù)據(jù)以及其中所包含的信息，這很重要，了解你使用的工具、了解你的數(shù)據(jù)以及牢記自己企業(yè)的價值觀也很重要。

以下是過去十年中一些在分析和人工智能領(lǐng)域備受矚目的錯誤，以說明哪些方面可能會出現(xiàn)問題。

人工智能算法可識別所有東西，但不包括新冠病毒

自新冠疫情開始以來，許多企業(yè)都在試圖利用機器學習算法來幫助醫(yī)院更快地診斷或分診患者。但據(jù)英國國家數(shù)據(jù)科學和人工智能中心“圖靈研究所”(Turing Institute) 稱，預測工具幾乎沒有帶來多少影響。

《麻省理工科技評論》(MIT Technology Review) 記錄了許多失敗案例，其中大部分失敗案例源于工具訓練或測試方式的錯誤。使用錯誤標記的數(shù)據(jù)或使用來自未知來源的數(shù)據(jù)是常見的問題起因。

劍橋大學機器學習技術(shù)研究員德里克·德里格斯 (Derek Driggs) 和他的同事在《自然-機器智能》(Nature Machine Intelligence) 刊物上發(fā)表了一篇論文，探討了使用深度學習模型來診斷病毒。該論文明確指出，這一技術(shù)不適合臨床使用。例如，德里格斯的團隊發(fā)現(xiàn)他們自己的模型存在缺陷，因為該模型是基于一個數(shù)據(jù)集來訓練的，而該數(shù)據(jù)集包括躺臥患者的掃描圖和站立患者的掃描圖。躺臥患者更有可能患有重病，因此，該算法學會了根據(jù)掃描圖中患者的身體位置來識別新冠病毒風險。

一個類似的例子是使用含有健康兒童胸部掃描圖的數(shù)據(jù)集進行訓練的一個算法。該算法學會了如何識別兒童，而不是識別高?；颊?。

由于購房算法的災難性錯誤，Zillow 公司損失了數(shù)百萬美元，并大幅裁員

2021 年 11 月，在線房地產(chǎn)公司 Zillow 告訴股東，公司將在未來幾個季度結(jié)束其 Zillow Offers 業(yè)務，并將裁掉 25% 的公司員工(約 2000 名員工)。這家炒房公司的困境就是因為其用于預測房價的機器學習算法中的錯誤率所導致。

Zillow Offers 是一個程序，該公司通過該程序?qū)δ骋环慨a(chǎn)給出現(xiàn)金報價，而該報價則是基于“Zestimate 房產(chǎn)估價軟件”的機器學習算法而得出的房屋價值。其想法是對這些房產(chǎn)進行翻新，然后迅速賣出。但 Zillow 公司的一位發(fā)言人告訴美國有線電視新聞網(wǎng) (CNN)，該算法的錯誤率中位數(shù)為 1.9%，而對于未上市房屋的錯誤率可能更高，高達 6.9%。

美國有線電視新聞網(wǎng)報道稱，Zillow 公司自 2018 年 4 月推出 Zillow Offers以來，通過此項業(yè)務購買了 27000 套房屋，但到 2021 年 9 月底僅售出 17000 套。新冠疫情和家庭裝修勞動力短缺等黑天鵝事件也導致了該算法的準確率出現(xiàn)問題。

Zillow 公司表示，該算法導致公司無意中以高于當前預計的未來售價購買房屋，從而導致 2021 年第三季度的庫存房屋跌價為 3.04 億美元。

在該消息發(fā)布后，Zillow 公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官里奇·巴頓 (Rich Barton) 在與投資人舉行的電話會議上表示，或許可以對該算法進行調(diào)整，但最終其風險太大。

因超出電子表格的數(shù)據(jù)限制，英國丟失了數(shù)千個新冠病毒病例

2020 年 10 月，負責統(tǒng)計新冠病毒新增感染病歷的英國政府機構(gòu)“英國公共衛(wèi)生部”(PHE) 透露，在 9 月 25 日至 10 月 2 日期間，有近 16000 例冠狀病毒病例沒有上報。其罪魁禍首是什么?Microsoft Excel 表格中的數(shù)據(jù)限制。

英國公共衛(wèi)生部使用自動化流程將新冠病毒陽性實驗室結(jié)果以 CSV 文件形式轉(zhuǎn)入 Excel 模板中，然后用于報告儀表板和接觸人追蹤。不幸的是，Excel 電子表格的每個工作表最多允許有 1048576 行和 16384 列。此外，“英國公共衛(wèi)生部”按列而不是按行列出感染病例。當這些病例超過 16384 列的限制時，Excel 表格會切斷底部的 15841 條記錄。

這個“小故障”并沒有影響接受病毒檢測的個人收到他們的結(jié)果，但這確實阻礙了接觸者追蹤工作，使英國國家衛(wèi)生署 (NHS) 更難找到和通知與病毒感染者密切接觸的個人。英國公共衛(wèi)生部 (PHE) 臨時首席執(zhí)行官邁克爾·布羅迪在 10 月 4 日的一份聲明中表示，英國國家衛(wèi)生署的測試和追蹤部門和英國公共衛(wèi)生部已迅速解決了這一問題，并已將所有未解決病例立即轉(zhuǎn)移到英國國家衛(wèi)生署的測試和追蹤部門的接觸者追蹤系統(tǒng)中。

英國公共衛(wèi)生部實施了“快速緩解措施”，將大文件進行拆分，并對所有系統(tǒng)進行了全面的端到端審查，以防止未來發(fā)生類似事件。

醫(yī)療服務算法未能標記黑人患者

2019 年，發(fā)表在《科學》雜志上的一項研究顯示，美國各地的醫(yī)院和保險公司使用一種醫(yī)療服務預測算法來找出需要加入“高風險護理管理”計劃的患者，但這種算法不太可能單獨挑出黑人患者。

高風險護理管理計劃可為慢性病患者提供訓練有素的護理人員和初級護理監(jiān)測，以防止出現(xiàn)嚴重的并發(fā)癥。但該算法更有可能將這些項目推薦給白人患者，而不是黑人患者。

該項研究發(fā)現(xiàn)，這一算法使用醫(yī)療支出作為確定某人是否需要醫(yī)療服務的指標。但據(jù)《科學美國人》(Scientific American) 雜志報道，病情較重的黑人患者的醫(yī)療費用與更健康的白人的醫(yī)療費用相當，這意味著即使黑人患者的醫(yī)療需求更高，但他們的風險評分也會較低。

該項研究的研究人員表示，可能有幾個因素在起作用。首先，有色人種更有可能收入較低，即使有保險，也可能使他們不太可能獲得醫(yī)療服務。隱性偏見也可能導致有色人種接受到更低質(zhì)量的醫(yī)療服務。

盡管該項研究沒有提及這一算法或開發(fā)者的名字，但研究人員告訴《科學美國人》雜志，他們正在與開發(fā)者合作解決這一問題。

經(jīng)數(shù)據(jù)集訓練的微軟聊天機器人發(fā)表種族主義推文

2016 年 3 月，微軟了解到，使用推特平臺交流信息作為機器學習算法的訓練數(shù)據(jù)可能會產(chǎn)生令人沮喪的結(jié)果。

微軟在社交媒體平臺上推出了一款人工智能聊天機器人，被稱為 Tay。微軟公司將其稱為一個“對話理解”的實驗。他們的想法是，該聊天機器人將扮演一個十幾歲的少女，結(jié)合使用機器學習和自然語言處理技術(shù)，可通過推特平臺與他人進行交流。微軟將一些匿名的公共數(shù)據(jù)和喜劇演員預先編寫的材料植入該機器人中，然后讓它通過社交網(wǎng)絡上的交流來學習和發(fā)展。

在 16 小時內(nèi)，該聊天機器人發(fā)布了 95000 多條推文，這些推文迅速呈現(xiàn)出公然的種族主義、厭惡女性和反猶太主義。微軟迅速暫停了該服務以進行調(diào)整，并最終停止了這一服務。

“我們對 Tay 無意識發(fā)出的冒犯性和傷害性推文深表歉意，這些推文并不代表我們的身份或我們的立場，也不代表我們設計該機器人的方式?！痹诖耸录l(fā)生后，微軟研究與孵化部(時任微軟醫(yī)療部門公司副總裁)公司副總裁彼得·李 (Peter Lee) 在微軟官方博客上的一篇文章中寫道。

李指出，微軟公司于 2014 年在中國推出了 Tay 的前身微軟小冰 (Xiaoice)，在 Tay 推出前的兩年內(nèi)，微軟小冰已成功與 4000 多萬人進行了對話。令微軟公司沒有考慮到的是，一群推特用戶會立即開始向 Tay 發(fā)出種族主義和厭惡女性的言論。該機器人迅速從這些材料中進行學習，然后將這些內(nèi)容整合到自己的推文中。

“盡管我們已經(jīng)為多種類型的系統(tǒng)濫用行為做好了準備，但我們還是對這一特定的冒犯行為犯了嚴重的疏忽。因此，Tay 在推特上發(fā)布了這些非常不恰當和應受譴責的文字和圖片。”李寫道。

亞馬遜公司的人工智能招聘工具只推薦男性

與許多大公司一樣，亞馬遜公司也渴望使用一些工具，能幫助其人力資源部門篩選一些職位申請，以找到最佳的應聘者。2014 年，亞馬遜公司開始開發(fā)人工智能招聘軟件來解決這一問題。但只存在一個問題：該系統(tǒng)非常偏愛男性應聘者。2018 年，路透社報道稱，亞馬遜公司終止了該項目。

亞馬遜公司的系統(tǒng)會給應聘者打出從 1 到 5 的星級評分。但該系統(tǒng)核心的機器學習模型是基于提交給亞馬遜公司的 10 年簡歷數(shù)據(jù)進行訓練的——其中大部分是男性簡歷。由于是基于這些訓練數(shù)據(jù)，因此，該系統(tǒng)便使那些包含“女性”一詞的簡歷處于不利地位，甚至會使那些來自女子大學的應聘者獲得更低的評分。

當時，亞馬遜公司表示，亞馬遜的招聘人員從未使用該工具來評估應聘者。

亞馬遜公司曾試圖修改該工具以使其保持公平，但最終認定公司無法保證這一工具不會學習到其他歧視性的候選人篩選方式，然后終止了該項目。

美國塔吉特公司 (Target) 的分析工作侵犯了隱私

2012 年，零售巨頭塔吉特公司的一個分析項目已顯示出，企業(yè)可以從其數(shù)據(jù)中了解多少客戶信息。據(jù)《紐約時報》報道，2002 年，塔吉特公司的銷售部門開始考慮如何判斷某一顧客是否懷孕。這一想法導致啟動了一個預測分析項目，該項目導致公司無意中向一名少女的家人透露了她懷孕的消息。反過來，這也導致各種文章和營銷博客引用該事件作為一個建議，以避免發(fā)生這一“令人恐怖的情況”。

塔吉特公司的營銷部門想要找出懷孕的顧客，因為在人生中的某些時期(尤其是懷孕時期)，人們極有可能徹底改變自己的購買習慣。如果塔吉特公司可以在這一時期接觸到這些顧客，例如，可以培養(yǎng)這些客戶的新購物行為，讓他們來塔吉特公司購買雜貨、服裝或其他商品。

與所有其他大型零售商一樣，塔吉特公司一直在通過購物者代碼、信用卡、調(diào)查等方式收集顧客數(shù)據(jù)。它將這些數(shù)據(jù)與其購買的人口數(shù)據(jù)和第三方數(shù)據(jù)整合在一起。對所有這些數(shù)據(jù)進行處理后，塔吉特公司的分析團隊能夠確定，通過對公司售出的大約 25 種產(chǎn)品一起進行分析，可以生成一個“懷孕預測”分數(shù)。然后，營銷部門可以針對高評分顧客提供優(yōu)惠券和發(fā)送營銷信息。

進一步的研究表明，研究顧客的生育狀況可能會讓其中一些顧客感到恐怖。據(jù)《紐約時報》報道，該公司并沒有放棄自己的定向市場營銷工作，但他們確實開始混入一些他們知道孕婦不會購買的商品的廣告(包括在尿布廣告旁邊出現(xiàn)割草機廣告)，以使顧客覺得這些廣告組合很隨機。