又一“人類飯碗”被AI搶走，還是和訓(xùn)練AI息息相關(guān)的：

數(shù)據(jù)標(biāo)注。

蘇黎世大學(xué)研究發(fā)現(xiàn)，在ChatGPT面前，無論成本還是效率，人類可以說是毫無優(yōu)勢(shì)：

• 成本上，ChatGPT平均每個(gè)標(biāo)注成本低于0.003美元，比眾包平臺(tái)便宜20倍；
• 效率上，在相關(guān)性、立場(chǎng)、主題等任務(wù)中，ChatGPT也是以4:1的優(yōu)勢(shì)“碾壓”人類。

論文發(fā)出后，有網(wǎng)友調(diào)侃，“生成訓(xùn)練數(shù)據(jù)需要人工”的說法已經(jīng)成為過去式了。

還有人直呼“古籍修復(fù)數(shù)字化工作是不是有希望提速了”。

還有人看熱鬧不嫌事大，直接發(fā)推稱：

這是直接端了平臺(tái)工作者的飯碗。

話說回來，ChatGPT是怎么搶了數(shù)據(jù)標(biāo)注工作者的“飯碗”的？

ChatGPT在80%任務(wù)上占優(yōu)勢(shì)

首先得先了解下數(shù)據(jù)標(biāo)注工作的具體內(nèi)容。

簡(jiǎn)單來講，數(shù)據(jù)標(biāo)注就是給社交媒體上的內(nèi)容數(shù)據(jù)貼標(biāo)簽，將其以不同主題或者概念進(jìn)行分類，或是對(duì)其立場(chǎng)以及情緒進(jìn)行判別。

這些經(jīng)過標(biāo)注的數(shù)據(jù)就可以用作NLP模型的訓(xùn)練集或是評(píng)估標(biāo)準(zhǔn)。

以往，這類工作都是交由人工處理的，比如說MTurk就是專門進(jìn)行數(shù)據(jù)標(biāo)注的一個(gè)眾包平臺(tái)。

在MTurk這類眾包平臺(tái)內(nèi)部，還會(huì)有更加精細(xì)的分工，比如說會(huì)有經(jīng)過專業(yè)訓(xùn)練的數(shù)據(jù)標(biāo)注者以及眾包工作者。

前者在產(chǎn)出高質(zhì)量數(shù)據(jù)上具有優(yōu)勢(shì)，但自然成本也更高，而后者雖然更便宜但質(zhì)量也會(huì)隨任務(wù)難度波動(dòng)。

于是研究團(tuán)隊(duì)就開始著手研究大語言模型（LLM）在這方面的潛力，并且對(duì)比了沒有額外訓(xùn)練（zero-shot）的ChatGPT（基于GPT-3.5）和MTurk在數(shù)據(jù)標(biāo)注上的性能。

這項(xiàng)對(duì)比基于研究團(tuán)隊(duì)此前收集到的2382條推文樣本。

ChatGPT和MTurk分別將推文以“相關(guān)性、立場(chǎng)、主題、政策、實(shí)用性”這五種任務(wù)進(jìn)行標(biāo)注。

評(píng)估的標(biāo)準(zhǔn)有兩條：

• 準(zhǔn)確性：ChatGPT和MTurk眾包工作者相較于正確標(biāo)注的百分比；
• 編碼者間的一致性信度：用ChatGPT、MTurk眾包工作者以及專業(yè)數(shù)據(jù)標(biāo)注者任意二者之間的一致性來計(jì)算；

結(jié)果呢也顯而易見，在準(zhǔn)確性上，ChatGPT有五分之四的任務(wù)都要優(yōu)于MTurk眾包工作者。

在一致性信度上，ChatGPT全部任務(wù)都超過了專業(yè)數(shù)據(jù)標(biāo)注者。

成本方面，開頭也已經(jīng)提過，ChatGPT平均每條比人工便宜20倍，何況AI還能24*7無休。

不過對(duì)于研究團(tuán)隊(duì)得出的這個(gè)結(jié)論并不是所有網(wǎng)友都買賬，有人表示：

這五條任務(wù)都太單一了，難度也是。僅憑這一點(diǎn)就得出這樣的結(jié)論可靠性存疑。

甚至還有網(wǎng)友嘲諷了起研究樣本太少來：

（竟然）只用2382條推文做樣本。

“飯碗威脅”不止數(shù)據(jù)標(biāo)注

現(xiàn)在，AI會(huì)不會(huì)完全取代某一類工作還不好說，但它會(huì)在一定程度上影響人類工作是毋庸置疑的。

上周，OpenAI就發(fā)布過一份分析報(bào)告，稱有80%的工作都會(huì)在一定程度上受到ChatGPT的影響，19%的崗位會(huì)受到ChatGPT的嚴(yán)重沖擊。

并且薪資越高的職業(yè)受到的沖擊就越大。

OpenAI還進(jìn)一步列出了會(huì)被影響的具體職業(yè)，從大到小依次是：

翻譯從業(yè)者、文字創(chuàng)作者（包括詩人、作家等）、公關(guān)人員、數(shù)學(xué)家、稅務(wù)編制人員、區(qū)塊鏈工程師、財(cái)務(wù)工作者、媒體從業(yè)者……

△圖源：OpenAI

除此之外，OpenAI的CEO奧特曼也不止在一個(gè)場(chǎng)合下說過“AI會(huì)取代現(xiàn)有的部分工作”。

前不久，MidjourneyV5大升級(jí)也是讓不少人類畫師直呼飯碗不保。

emmmmmm，你覺得你的飯碗還保得住嗎？

論文地址：??https://arxiv.org/abs/2303.15056???
參考鏈接：???https://twitter.com/arankomatsuzaki/status/1640521970608402435??