[[385705]]

當(dāng)我在Airbnb時(shí)，我有很好的機(jī)會，可以在向Brian Chesky報(bào)告的新團(tuán)隊(duì)中工作。這是令人興奮的 - 我們正在扮演一個(gè)新產(chǎn)品系列，所以我們必須每天制作更改游戲的決定。但作為團(tuán)隊(duì)的數(shù)據(jù)科學(xué)家，我始終負(fù)責(zé)采購數(shù)據(jù)以指導(dǎo)我們的產(chǎn)品方向，這意味著很多分析工作。

第一周是對我的上下文開關(guān)的能力的艱難測試：我不得不找到模糊的表格并編寫大量查詢，但甚至通過Beautifulsoup Scrapes和Veartrics API請求正則表達(dá)式。截至第三周，我開始累了，所以我需要一個(gè)系統(tǒng)來保持我的速度。我來實(shí)現(xiàn)，在使用數(shù)據(jù)時(shí)，只有兩種可以搞砸的方式：

• 使用錯(cuò)誤的數(shù)據(jù)。
• 錯(cuò)誤的使用數(shù)據(jù)。

這兩個(gè)都可以通過在數(shù)據(jù)周圍具有更好的上下文來解決。

所以我自己做了一個(gè)清單來減輕這兩個(gè)錯(cuò)誤，以確保我不會將產(chǎn)品引導(dǎo)到遺忘。我會在這里分享我的，但是這對你來說究竟可能取決于你公司的特定籌碼。將此作為一個(gè)示例指南，了解如何讓自己一些好的語境，以使您使用表格的危險(xiǎn)，但我鼓勵(lì)您采取這個(gè)并使其成為自己的。

那么我需要什么背景，我如何得到它?

嗯，您需要任何和所有信息，這些信息將減少錯(cuò)誤或使用錯(cuò)誤數(shù)據(jù)的數(shù)據(jù)。在我的經(jīng)驗(yàn)中，只需三個(gè)檢查可以獲得合理的覆蓋：

• 檢查基本表METAData.e.g。列名稱，分區(qū)信息，如何生成。
• 檢查您的假設(shè)。在本專欄中是什么?這是一個(gè)空列嗎?什么是截然不同的價(jià)值?自上次我跑這個(gè)查詢以來有這些改變嗎?
• 與別人聯(lián)系。其他人在做這張表做什么?你問誰有疑問嗎?

1.檢查基本表元數(shù)據(jù)

第一步是它找到一個(gè)表并弄清楚如何查詢它。

You must woo your table before it will reveal its secrets(Reposted with permission from Olya Tanner)

對于最基本的信息，如列名，索引信息，分區(qū)信息，查看定義，您通?？梢圆樵兿到y(tǒng)表。手頭保留這些表的列表，以便您可以輕松查詢它們。例如，對于符合ANSI SQL的數(shù)據(jù)庫(其中大多數(shù))，請記住以下表格通常有助于：

• Information_schema.columnScolumn 名稱，分區(qū)信息，列類型，無效。
• Information_schema.tables和Information_schema.viewSnice列表所有表和視圖。視圖，您通?？梢垣@得DDL語句。

您通常還可以獲得其他人寫的查詢歷史，這可以幫助弄清楚如何使用表格。您甚至可以通過語句類型進(jìn)行過濾(例如，創(chuàng)建，插入，選擇)以確定如何創(chuàng)建表：

• Information_schema.jobs_by_project(bigquery)表(Information_schema.query_history())

2.檢查您的假設(shè)。

記下您的假設(shè)并運(yùn)行查詢來檢查它們。

A nice illustration of a person making a checklist, in case you haven’t seen one before.

此時(shí)您希望查看數(shù)據(jù)是否是您認(rèn)為的。雖然我的典型方法是隨意走過的選擇*并選擇不同的語句，但這是次優(yōu)。更好的方法是首先弄清楚：

我需要回答什么問題，我制作了什么假設(shè)?

寫下這些，然后寫下回答這些問題的查詢/驗(yàn)證這些假設(shè)。它可能聽起來很簡單，但如果你做出錯(cuò)誤的假設(shè)，你必須重新開始。我們在使用數(shù)據(jù)時(shí)都做出假設(shè) - 如果您沒有明確到他們，這是一個(gè)災(zāi)難的配方。

最近項(xiàng)目的一些示例：

• 每次活動只有一行嗎?
• 該字段的可能值是什么?
• 這個(gè)專欄是無數(shù)的嗎?
• 如果為null，則對這些空值有任何系統(tǒng)模式?

我個(gè)人使用鯨魚(CLI工具，如果我感到不耐煩)或運(yùn)行的dataframe(甚至計(jì)劃)這些快速檢查，但無論您使用什么，只需確保將它們保持持久。

最后，是的，它很好 - 繼續(xù)進(jìn)行選擇*。有時(shí)您只需要查看一片數(shù)據(jù)。

3.與其他人聯(lián)系

既然你已經(jīng)有一種感覺的數(shù)據(jù)的形式，只是潛入并建立你需要建立的東西。別。您需要盡可能多地獲得各種社交環(huán)境和部落知識，并且在大型組織中尤其如此。

現(xiàn)在是時(shí)候收集部落知識了。

我知道這些人沒有面孔，但是在獲得一些其他社交環(huán)境之后，您難道不就讓右邊的家伙感到高興嗎?

不幸的是，只有這么多，您可以通過單獨(dú)疏浚數(shù)據(jù)來獲得。您需要與真實(shí)的人交談(或找到一些最新的文件)。

通過查詢?nèi)罩?見上文)，通過Github的Slog(如果您的查詢是版本控制的)，或者檢查表的所有者是誰(您通?？梢栽跀?shù)據(jù)上下文/發(fā)現(xiàn)工具中這樣做，如dataframe) - 只是找一個(gè)人懈怠。

一般來說，我問以下問題：

• 這是維持嗎?
• 這是用于{{你的場景}}的最佳數(shù)據(jù)嗎?

迄今為止你所做的事情是開放的。你可能在錯(cuò)誤的表上，但人們欣賞一些爭議。

結(jié)束言論

如果這一切聽起來有點(diǎn)過分，請查看DataFrame。我們正在構(gòu)建一個(gè)數(shù)據(jù)上下文平臺，使得找到所有這些信息的所有信息都很容易 - 它是免費(fèi)的。搜索表，獲取基本元數(shù)據(jù)，探索數(shù)據(jù)，并在一個(gè)地方獲取社交上下文。好的銷售。對不起，我忍不住自己 - 我對我們的產(chǎn)品真的很興奮。

我希望您帶走這篇文章的一條消息：將您的Ad-hoc分析與盡可能多的嚴(yán)謹(jǐn)性。在您的職業(yè)生涯中可能發(fā)生的最令人尷尬的事情之一是實(shí)現(xiàn)中間解釋，即您的結(jié)果可能是錯(cuò)誤的。在每次編寫查詢時(shí)，在不可轉(zhuǎn)讓的背景下設(shè)置一些最佳實(shí)踐是一種很好的方法來減輕至少一些下行。

或?yàn)樽约后w驗(yàn)它。然后回到這里并再次閱讀這一點(diǎn)。