數(shù)據(jù)科學已經(jīng)發(fā)展。 這2000萬個數(shù)據(jù)集就是證明。

(Er, wrong Data search tool.)

我最近最喜歡的Google搜索系列產(chǎn)品之一是數(shù)據(jù)集搜索。 是的，你聽到的是對的。 您可以像搜索圖像一樣搜索數(shù)據(jù)集!

您現(xiàn)在可以像搜索圖像一樣搜索數(shù)據(jù)集!

You can play with Dataset Search here.

數(shù)據(jù)集搜索如何評價公眾的數(shù)據(jù)素養(yǎng)

如果沒有人使用Google的垂直搜索引擎(如Google Images或Google Scholar)，它們將不會持續(xù)很長時間，因此它們的種類告訴您人們傾向于在互聯(lián)網(wǎng)上尋找什么的一些信息。 圖片，視頻和新聞不足為奇。 但是數(shù)據(jù)集? 您的提示是，不僅要為遙遠的冰屋中的三位孤立的教授使用數(shù)據(jù)集。 好大 …而且越來越大。

有什么收獲? 沒有一個。 這實際上與使用Google圖片或Google學術搜索進行搜索相同，只是針對數(shù)據(jù)集。 當前已建立索引并可以使用超過2000萬(!)數(shù)據(jù)集……并且該索引正在快速增長。

今天，您可以輕松觸及2000萬個數(shù)據(jù)集……明天還會有更多。

現(xiàn)在您已經(jīng)知道它的存在，您可以在這里試用它，也可以繼續(xù)討論"數(shù)據(jù)集搜索"的工作原理以及它對數(shù)據(jù)科學專業(yè)和整個人類的意義。

我最近的數(shù)據(jù)集搜索會話的屏幕截圖。 早在我讀研究生時，我就會毫無顧慮地尋找有關在何處乞求訪問此類數(shù)據(jù)的線索。 (從字面上看，這是我們要做的事情：寫一封長長的電子郵件，懇求其他實驗室回應，通常無濟于事。請耐心等待新方法的簡易性。)

加速分析的一場革命

Analytics(分析)是數(shù)據(jù)科學的一部分，旨在迅速激發(fā)靈感。 與統(tǒng)計或機器學習不同，分析的最高優(yōu)點是速度。 (為安全起見，優(yōu)秀的分析人員可避免在得出新數(shù)據(jù)之前就得出結論。)

更快地訪問數(shù)據(jù)可為您提供更強大的分析功能。

您知道容易找到數(shù)據(jù)集時會得到什么嗎? 更快的分析! 數(shù)據(jù)集搜索代表了您所有專業(yè)分析師和數(shù)據(jù)科學家的不可思議的速度提升。 (但是，如果您有認真對待靈感的危險，請務必謹慎地采用統(tǒng)計方法進行跟進。)

是的，但是真正的收獲是什么?

如果您是在一個數(shù)據(jù)集非常稀有，珍貴并且經(jīng)常由教授或數(shù)據(jù)提供者策劃的世界中長大的，就像我們大多數(shù)人一樣! —您可能會出現(xiàn)一些無意識的偏見：您假設提供數(shù)據(jù)的人應對數(shù)據(jù)質(zhì)量負責(并且可能在某處藏了一兩個博士學位)。 如果您主要是在學習或科學的背景下使用數(shù)據(jù)集，則可能會給人一種印象，即數(shù)據(jù)集在到達您之前就受到了精心的按摩。

現(xiàn)實生活中的數(shù)據(jù)科學是一個叢林，而不是您的教授策劃的神圣空間。

暫時擱置這一偏見，然后考慮另一種偏見：外行人之間數(shù)據(jù)崇拜的毒性作用。 任何傾向于用大寫" D"表示數(shù)據(jù)的人都可能會認為，以結構化形式打包的所有信息都是有用且真實的。 嘿，這不是魔術。 不要相信您閱讀的所有內(nèi)容，也不要相信每個數(shù)據(jù)集。 在此處了解有關數(shù)據(jù)性質(zhì)和數(shù)據(jù)崇拜的更多信息。

如果您過著大多數(shù)為您提供數(shù)據(jù)的人享有聲譽的生活，并且/或者被教導您崇拜數(shù)據(jù)和科學，那么您將感到震驚。 你猜怎么了! 數(shù)據(jù)集可能是一堆結構化的垃圾。 可能會壞掉。 它可以彌補， 可能是60億個零。 可能什么都沒有。 就像文字一樣!

"如果是寫在書上，那一定是真的……"

說到文字："如果是寫在書上，那一定是真的……"對嗎? 錯誤! 更糟糕的是："如果是在網(wǎng)上寫的，那一定是真的……"我看到你剛剛拉過的臉，我很喜歡。 好。 您對此表示懷疑。 你應該。 現(xiàn)在，"如果它寫在數(shù)據(jù)集中，那一定是真的……"

A book! It must be true.

那里有很多垃圾，因為任何人都可以寫他們想要的東西。 與其相信它， 相反，您需要花一點時間來考慮數(shù)據(jù)源。 很好，因為這種習慣也將使您在數(shù)據(jù)領域中保持安全。

如果您習慣于信任數(shù)據(jù)而不是書面數(shù)據(jù)，請當心。

您可能有這種習慣，而沒有意識到。 不要將數(shù)據(jù)視為大寫字母D的縮寫。 重新定向您的街頭網(wǎng)絡習慣，即您在搜索Google圖片或整個網(wǎng)絡時經(jīng)常使用的習慣。 您知道，當您問得好時，Google不會擁有或編輯這些貓圖片或它提供的隱形藥水配方。 (您知道那些隱形藥水是行不通的，對嗎?)您知道質(zhì)量會有所不同，并且要由您來認真考慮一下來源，然后再相信所有閱讀內(nèi)容。 您知道互聯(lián)網(wǎng)上有各種各樣的東西，而且您已經(jīng)很容易受到欺騙。 好吧，主要是。 即使是我們最好的人，也偶爾會點擊那些"一個怪誕的把戲"鏈接或古怪的新聞報道。

如果您將通常的街頭互聯(lián)網(wǎng)搜索懷疑度應用于數(shù)據(jù)集搜索，則不會有任何收獲。

像對待任何其他Internet搜索結果一樣對待Dataset Search結果。 該工具將幫助您大海撈針，但您需要仔細檢查貓所拖入物體的質(zhì)量。

但是，如果要在質(zhì)量各異的巨大可搜索的聚寶盆貓圖片和3張精美策劃的貓圖片的小相冊之間進行選擇，我會每天選擇前者。 (嗯，我實際上會選擇這兩個，因為我很貪婪……您也可以。這些搜索工具沒有一夫一妻制。)

互聯(lián)網(wǎng)主要是垃圾郵件

并非所有事物都對您有好處。 也就是說，Google會竭盡全力打擊垃圾郵件并優(yōu)先考慮合法結果。 是的，人們會把垃圾數(shù)據(jù)集放到那里來吸引您的注意力，是的，我們將其排名以嘗試為您提供優(yōu)質(zhì)的服務。 就像常規(guī)搜索一樣。 但是您不應該期望這些東西是完美的。

要使您的數(shù)據(jù)集可搜索，只需將schema.org中的元數(shù)據(jù)添加到描述數(shù)據(jù)集的每個網(wǎng)頁上。

任何人都可以做到，就像任何人都可以寫博客文章一樣。 可能是垃圾(也許此博客文章是……呃，哦)，所以請認真考慮來源。

如果您要使用自由數(shù)據(jù)，則需要保持智慧。 不要相信您閱讀的所有內(nèi)容。

它是如何工作的，schema.org是什么?

schema.org的構想由一個財團于2011年提出：Google，Bing，Yandex，Microsoft和Yahoo。 他們厭倦了猜測已爬取網(wǎng)頁的內(nèi)容，因此他們決定創(chuàng)建一個通用詞匯表，供提供者用來告訴他們什么。 該詞匯表已嵌入HTML中，以指示哪些位描述了事件，地址，配方等。 它是一個描述不同類型信息的小模式(因此得名!)。 當您選擇將schema.org添加到頁面并告訴它頁面包含數(shù)據(jù)集時，該數(shù)據(jù)集將有資格顯示在"數(shù)據(jù)集搜索"結果中。

數(shù)據(jù)提供商使用schema.org告訴我們他們的頁面上有一個數(shù)據(jù)集，并描述了一些有關它的元數(shù)據(jù)。

這不是Google特有的魔法; 這是任何人都可以貢獻的開放社區(qū)標準。 許多公司已經(jīng)在后臺使用了多年。 Google專有的功能是您可以使用"數(shù)據(jù)集搜索"搜索這些數(shù)據(jù)集的新功能。 我們讓數(shù)據(jù)提供商使用schema.org告訴我們他們的頁面上有一個數(shù)據(jù)集，并描述一些有關它的元數(shù)據(jù)。 數(shù)據(jù)集搜索與常規(guī)搜索非常相似，但是結果僅限于聲稱擁有數(shù)據(jù)集的頁面。 簡單實用。

如何參與共享數(shù)據(jù)

當數(shù)據(jù)僅來自負責精心策劃每個人的少數(shù)大型提供商(例如政府和大學)時，較小的參與者就沒有共享它們的途徑。

想象一下這種情況：一群高中女生正在從事課外機器人項目。 他們正在收集大量數(shù)據(jù)，這些數(shù)據(jù)可能對具有相似愛好的人非常有用。 他們甚至愿意分享它(他們多么友好)。 他們已經(jīng)在高中網(wǎng)站上添加了指向該網(wǎng)站的鏈接。 恰好它們的數(shù)據(jù)恰好是幫助您進行原型制作所需的。 現(xiàn)在怎么辦?

如果他們的數(shù)據(jù)集不可搜索，那么您將永遠找不到。 如果必須由策展人(如政府)托管他們的數(shù)據(jù)以便訪問，則會被告知要排隊……而且他們可能永遠也不會出現(xiàn)在前列。 那些花費大量資源進行大量策展的提供者只有有限的時間和注意力集中在優(yōu)先資源上。 結果如何? 您永遠不會知道錯過了什么。

這就是為什么我覺得整個數(shù)據(jù)集搜索范式非常漂亮的原因。 共享數(shù)據(jù)(無需中間人告訴您迷路)意味著即使人們有小眾口味，也可以找到并提供豐富的資源……或者使高中網(wǎng)站晦澀難懂。

參與共享可搜索數(shù)據(jù)：

• 您需要數(shù)據(jù)。
• 您需要通過schema.org指示您有數(shù)據(jù)。 (您可以自己執(zhí)行此操作，也可以將其放入Zenodo這樣的存儲庫中，為您執(zhí)行此操作。)

其他

希望同時滿足這兩個條件的意愿因地而異，這并不使您感到驚訝。 政府是率先索引其數(shù)據(jù)集的政府之一，因此，他們傾向于收集的數(shù)據(jù)集(天氣數(shù)據(jù)，有人嗎?)是您瘋狂進食的最佳人選，而稀疏收集的專有數(shù)據(jù)將很少出現(xiàn)。 也就是說，每天都在添加更多數(shù)據(jù)，搜索為免費和付費數(shù)據(jù)提供了方便。 (有點像Google圖片中帶有水印的專有圖片。)您可以根據(jù)自己的意愿選擇要經(jīng)過的門，以及收費是否值得。

人類的大局

諸如數(shù)據(jù)集搜索之類的龐大用戶群，是人類在數(shù)據(jù)科學和數(shù)據(jù)素養(yǎng)方面的發(fā)展的象征。 我們正在成長為一個物種，并且正在擴展我們部署感官的方式，以及與信息進行交流的方式。

數(shù)據(jù)分析正在成為每個人的游戲。

過去，我們曾經(jīng)在Internet上打開單個頁面的能力給人留下了深刻的印象，然后在瀏覽器中打開50個選項卡(每個數(shù)據(jù)點一個)的能力給人留下了深刻的印象。 現(xiàn)在我們渴望更多。 我們希望數(shù)據(jù)集可以使用為這項工作而構建的代碼工具(例如Python和R)快速定型和匯總。 精通數(shù)據(jù)的社區(qū)現(xiàn)在已達到臨界規(guī)模。 我們中足夠的人具有理解數(shù)據(jù)的技能，而我們不再滿足于圖片覆蓋的書面頁面。 (您現(xiàn)在正在凝視的那種。哈。)

素養(yǎng)的演變

要使用當前正在閱讀的資源(例如您正在閱讀的資源)中的信息，您需要特殊的讀寫能力。 您的思維需要能夠?qū)⒆约喊谖淖种車?這是您理所當然的技能。 如果只有很少的人掌握這項技術，那么此博客文章將不存在。 Google可能也不存在。

同樣，數(shù)據(jù)集搜索代表著數(shù)據(jù)素養(yǎng)民主化的上升趨勢。 如果說山峰和猶豫不決的話，那么整個開發(fā)過程就是一種攀登頂峰的方式，"處理數(shù)據(jù)不再是一種完全利基的技能!"它不再局限于少數(shù)抄寫員將象形文字雕刻成粘土片。 (哦，等等，那是寫作。盡管是相同的想法。)

在線數(shù)據(jù)集提供了一種新的自我表達工具，它遵循了與互聯(lián)網(wǎng)其他部分相同的規(guī)則。

數(shù)據(jù)集搜索可幫助您在聊天中找到寶石。

數(shù)據(jù)集正在成為一種廣泛的交流形式-一種美麗的新語言，我們許多人都能說流利，而且每天都有很多人在學習。 對于那些從小就開始講數(shù)據(jù)的人來說，能夠以我們的語言獲得搜索結果真是令人欣慰。

這就是為什么我對數(shù)據(jù)集搜索的感受直截了當?shù)脑颉?/p>