數(shù)據(jù)科學(xué)家vs數(shù)據(jù)分析師,到底有啥區(qū)別?
大數(shù)據(jù)文摘出品
來源:medium
編譯:Fisher、夏雅薇
數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)兩個(gè)領(lǐng)域很容易混淆,從職責(zé)描述上還是大家的普遍印象里,這兩個(gè)職位都差不多。相較之下,數(shù)據(jù)科學(xué)和數(shù)據(jù)分析這兩個(gè)職位更容易區(qū)分。它們雖有關(guān)鍵差別,但也有相似之處。
有人會說,要成為一名數(shù)據(jù)科學(xué)家,要先從數(shù)據(jù)分析的工作做起。
作者在兩個(gè)領(lǐng)域都待過,本文旨在闡明成為數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師到底意味著什么。一起來看看~
之前我是數(shù)據(jù)分析師的時(shí)候,我想繼續(xù)深造成為一名數(shù)據(jù)科學(xué)家,我意識到兩者有很大不同。并不是說數(shù)據(jù)科學(xué)與數(shù)據(jù)分析用完全不一樣的工具和編程語言,我甚至覺得數(shù)據(jù)科學(xué)是數(shù)據(jù)分析的一種形式,因?yàn)樽罱K你是在與數(shù)據(jù)打交道——轉(zhuǎn)換格式,進(jìn)行可視化,得出可用的結(jié)論。
數(shù)據(jù)科學(xué)家
代碼示例,用于擬合數(shù)據(jù)科學(xué)中的模型并做預(yù)測。來源:作者的屏幕截圖。
換一個(gè)角度看數(shù)據(jù)科學(xué),這是一個(gè)實(shí)施自動(dòng)化統(tǒng)計(jì)的行業(yè),使用各種模型來進(jìn)行分類和預(yù)測。下面是成為一名數(shù)據(jù)科學(xué)家必備的一些技能:
- Python 或者 R
- SQL
- Jupyter Notebook
- 算法/建模
(1) Python——根據(jù)我個(gè)人經(jīng)驗(yàn),大部分公司傾向于用Python而不是R作為主要編程語言。雖然職位描述里可能會同時(shí)列出兩者;但是,我猜你身邊的大多數(shù)人——比如機(jī)器學(xué)習(xí)工程師、數(shù)據(jù)工程師和軟件工程師——都不怎么熟悉R。因此,要想成為一名更全面的數(shù)據(jù)科學(xué)家,Python應(yīng)該更有用。
(2) SQL——乍看之下更像是數(shù)據(jù)分析師的技能,確實(shí)如此,但SQL仍是你從事數(shù)據(jù)科學(xué)必備的技能。工作中數(shù)據(jù)集往往不會直接發(fā)給你的,這跟學(xué)術(shù)界不同,你需要通過SQL獲得自己的數(shù)據(jù)集?,F(xiàn)在有很多SQL的分支,比如PostgreSQL、MySQL、Microsoft SQL Server T-SQL,以及Oracle SQL。它們都屬于同一種查詢語言,形式接近,但平臺不同。因此,會其中任何一種就行,換到另一種SQL很容易。
(3) Jupyter Notebook——數(shù)據(jù)科學(xué)家的游樂場,既可以用于編程也可以建模。你可以把Jupyter當(dāng)作一個(gè)研究工具,你可以編程,寫代碼,注釋掉代碼,調(diào)用sklearn、pandas和numpy這些庫來建模和測試。
(4) 算法——數(shù)據(jù)科學(xué)家的主要職責(zé)是用算法來快速準(zhǔn)確地預(yù)測、分類,以及根據(jù)數(shù)據(jù)來給建議。每當(dāng)你用新的數(shù)據(jù)來訓(xùn)練模型,就會得到一些新的結(jié)果。關(guān)鍵的算法通常分成兩大類:無監(jiān)督學(xué)習(xí)(如聚類)和有監(jiān)督學(xué)習(xí)(如分類/回歸)。
一些具體的關(guān)鍵算法:
- 隨機(jī)森林(系綜分類)
- Logistic回歸(分類——不是回歸)
- K-Means(聚類)
- K-最近鄰(分類/回歸)
總的來說,數(shù)據(jù)科學(xué)家要做很多事,但主要職責(zé)是:
- 與有關(guān)部門一起定義要解決的問題
- 獲取數(shù)據(jù)(使用SQL)
- 探索性的數(shù)據(jù)分析、特征工程、模型構(gòu)建、預(yù)測(使用Python、Jupyter Notebook、各種算法)
- 根據(jù)工作場景,將代碼編制成.py文件和/或用于部署的模型
數(shù)據(jù)分析師
數(shù)據(jù)分析師與業(yè)務(wù)分析師、商業(yè)情報(bào)分析師,甚至Tableau開發(fā)人員有著相似的頭銜。數(shù)據(jù)分析的重點(diǎn)是描述和可視化數(shù)據(jù)所包含的信息,然后向非技術(shù)用戶傳達(dá)并做進(jìn)一步的解釋說明。做預(yù)測分析的數(shù)據(jù)分析師跟數(shù)據(jù)科學(xué)家的工作有很多重疊部分——與數(shù)據(jù)科學(xué)家有更多相似之處,但不是通過自動(dòng)化、算法化的方法來輸出預(yù)測的。
數(shù)據(jù)分析師需要具備的一些主要技能有:
- SQL
- Excel
- Tableau(或者其他可視化工具,比如Google Data Studio)
(1) SQL——前文提到過數(shù)據(jù)科學(xué)家如何使用SQL,數(shù)據(jù)分析師也會進(jìn)行類似的操作。但是,SQL對數(shù)據(jù)分析師更重要。數(shù)據(jù)科學(xué)家可能只是簡單地從表單中選擇列就可以了,而數(shù)據(jù)分析師卻要執(zhí)行更為復(fù)雜的查詢操作(例如,常用的表單表達(dá)式,數(shù)據(jù)透視表,窗口函數(shù),子查詢)。不同公司情況不同,有時(shí)候數(shù)據(jù)分析師更接近數(shù)據(jù)工程師,而非數(shù)據(jù)科學(xué)家。
(2) Excel——很老派,但依然很強(qiáng)大,你甚至可以用它做預(yù)測分析和趨勢分析。主要的坑爹之處是跟Python比速度太慢。
(3) Tableau——可視化工具,但根據(jù)我的經(jīng)驗(yàn),大多數(shù)公司都把它明確列為數(shù)據(jù)分析師的必備技能。在Tableau中可以拖放數(shù)據(jù)到預(yù)設(shè)圖表,簡單強(qiáng)大;還有更多復(fù)雜的高級功能,比如計(jì)算字段,連接到一個(gè)實(shí)時(shí)的SQL數(shù)據(jù)庫而非基于靜態(tài)的Excel表單進(jìn)行分析。
總的來說,數(shù)據(jù)分析師也要做很多事,但主要職能是:
- 與相關(guān)部門定義要解決的業(yè)務(wù)問題
- 獲取數(shù)據(jù)(使用SQL)
- 探索性的數(shù)據(jù)分析、趨勢分析和可視化(使用Excel和Tableau)——根據(jù)工作場景,向有關(guān)部門展示從數(shù)據(jù)中獲得的發(fā)現(xiàn),并提供可行性的建議
相似點(diǎn)
前面已經(jīng)概述了一些相似點(diǎn),總結(jié)一下,數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師在所用編程語言、平臺/工具,以及所解決的問題方面,都有共同之處。
這些工具包括但不限于SQL、Tableau,以及相似的分析流程,定義問題、分析數(shù)據(jù)和輸出結(jié)果。
差異
盡管有相似之處,但這兩個(gè)領(lǐng)域之間仍然有差異。
一部分差異主要在分析的自動(dòng)化上——數(shù)據(jù)科學(xué)家專注于使用Python等語言編寫算法,進(jìn)行自動(dòng)化分析和預(yù)測;而數(shù)據(jù)分析師則使用靜態(tài)的或者過往的數(shù)據(jù),在某些情況下會使用Tableau和SQL等工具去做預(yù)測。
總結(jié)
數(shù)據(jù)科學(xué)和數(shù)據(jù)分析的共同點(diǎn)很多,不僅僅是名稱里都有“數(shù)據(jù)”而已;但同時(shí)它們也有重要的區(qū)別。無論你想成為數(shù)據(jù)科學(xué)家還是數(shù)據(jù)分析師,我希望這篇文章對你有用。如果你已經(jīng)是這兩個(gè)角色當(dāng)中的一員,那么我希望你學(xué)到了一些新的東西。
相關(guān)報(bào)道:
https://towardsdatascience.com/data-science-vs-data-analysis-heres-the-difference-4d3da0a90f4
【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文,微信公眾號“大數(shù)據(jù)文摘( id: BigDataDigest)”】