更好的機器學習需要更好的數(shù)據(jù)標注
有人在蘋果花了數(shù)億美元收集標簽數(shù)據(jù),但依然沒有好的結果。人們意識到AI非常強大。但為了實現(xiàn)它,必須獲得大量的訓練數(shù)據(jù)。
看到這一需求,許多專業(yè)標注公司誕生了。例如Datasaur,這是一個自動化數(shù)據(jù)標注的軟件。當然,數(shù)據(jù)標注首先需要以人工的方式開始,特別是在人工智能項目的開始階段,到了項目的中期或末期,機器學習本身可以用于自動標記數(shù)據(jù),也可以生成合成數(shù)據(jù)。
Datasaur軟件的主要目標是簡化人工數(shù)據(jù)標注的操作,并引導他們以最低的成本創(chuàng)建更高質(zhì)量的訓練數(shù)據(jù)。由于它的目標是那些需要整天標記數(shù)據(jù)的高級用戶,因此創(chuàng)建了功能鍵來加速標注過程,以及適合專用數(shù)據(jù)標注系統(tǒng)的其他功能。
不過在這個過程中,Datasaur也有了其他幾個目標,包括消除偏見。還提供了項目管理能力,以清楚地闡明標簽指南,以確保隨著時間的推移,標簽標準繼續(xù)得到保持。
數(shù)據(jù)標注的主觀性是使這門學科充滿陷阱的原因之一。
例如,想出一種方法,自動給文章貼上適合或不適合家庭的標簽。通常可以參考電影分級制度,類似PG、PG13、R級。自然認為這將是一個非常簡單的任務。然后事實證明,科技公司認為合適的做法與電影行業(yè)認為合適的做法有很大不同。還有很多灰色地帶的實例,對于什么是合適的,什么是不合適的,不同的社會觀點將會非常不同。

解決這類問題沒有捷徑可走。但是,有一些方法可以幫助公司將這些業(yè)務流程自動化,包括提供一個用于回答這些數(shù)據(jù)標注問題的決策譜系。這就是創(chuàng)建Datasaur軟件的原因。
你不會讓你的團隊為你的設計師創(chuàng)建一個Photoshop。只要買現(xiàn)成的Photoshop就行了。當你只需要做數(shù)據(jù)標注,我們也可以找一家這樣專業(yè)的公司。

起初,許多客戶認為計算機視覺是最熱門的AI技術。但最近,NLP用例非常熱門,特別是那些依賴于大型模型的用例,如BERT和GPT-3。因此Datasaur產(chǎn)品開始吸引注意力,每周被用于給100萬條數(shù)據(jù)貼標簽,包含Netflix、Zoom和Heroku等知名公司都在使用。
Datasaur也被專業(yè)數(shù)據(jù)標注機構使用,例如iMerit。在世界各地擁有5000名員工,iMerit已成長為數(shù)據(jù)標簽行業(yè)的強大力量。該公司擁有100個客戶,其中包括許多家喻戶曉的品牌,這些客戶利用其數(shù)據(jù)標注網(wǎng)絡,讓深度學習模型與高質(zhì)量的標注數(shù)據(jù)保持一致。
數(shù)據(jù)標簽的主觀性使得它不是單純的一項交易。
通常情況下,需要坐下來,弄清楚數(shù)據(jù)在哪里,需要什么。它不僅僅是工具、人員或過程。這是三者的結合。
上下文對于數(shù)據(jù)標注過程絕對是至關重要的。這大概是因為機器對上下文的理解能力很差。也可能是因為AI用例在不斷變化。不管是什么原因,這種需求是顯而易見的。
分享一個卡車上施工工人的例子,可以證明上下文對于開發(fā)高質(zhì)量的培訓數(shù)據(jù)是多么重要。想象一下,有一個工人坐在卡車上,每到一個維修路段,就要下車干活,然后又回到卡車上。所以數(shù)據(jù)標簽的問題是:工人是行人嗎?他是卡車的一部分嗎?還是說他是第三種人?
如果你在計算車輛,你就不會在意工人上下車。你只會對工程車感興趣;但如果你試圖操縱其他東西(比如自動駕駛或交通流量控制),避免撞到垃圾工,垃圾工的動作將會引起你極大的興趣;如果你在尋找可疑的行為,你會想把垃圾工排除在一系列類似的行為之外。
但很明顯,工人有不同的存在狀態(tài),取決于人工智能應用的視角。對于數(shù)據(jù)標注來說,證明一個事實:在不同的時間,一條數(shù)據(jù)可以有不同的標注。有的時候,沒有單一的答案。
數(shù)據(jù)標注過程的細致性對于提高數(shù)據(jù)質(zhì)量至關重要,這直接影響機器學習模型的預測推理質(zhì)量。數(shù)據(jù)可以讓預測準確率達到60%到70%,也可以讓預測準確率達到95%。
根據(jù)用例的不同,準確性是至關重要的。假如正在構建一個模型從視頻中來識別偷東西的行為,一個錯誤的否定(沒有發(fā)現(xiàn)盜竊行為)和一個錯誤的肯定(指控無辜的顧客)之間后果有很大的區(qū)別。