哇，互聯(lián)網(wǎng)大數(shù)據(jù)分析師，聽(tīng)起來(lái)好高大上哦，其實(shí)不然，做的事情都是***層的事情，打雜的，是業(yè)務(wù)的仆人，為全公司的人服務(wù)。

在你的眼里他們待遇好，白領(lǐng)，掙的錢(qián)多!

錢(qián)是人力堆出來(lái)的

在你的眼里他們制作報(bào)表，看起來(lái)好高大上，很炫酷，很漂亮!

在你的眼里他們是大數(shù)據(jù)領(lǐng)域的工作者，處于時(shí)代的前列，很潮!

數(shù)據(jù)種類(lèi)多，量大，變化快

其實(shí)他們就是一群搬磚的。

般的是磚，賣(mài)的是苦力

• 臟：是數(shù)據(jù)很臟，什么空值啊，亂碼啊，數(shù)據(jù)重復(fù)啊，什么情況都有。
• 亂：也是數(shù)據(jù)亂，數(shù)據(jù)源很多比如來(lái)源于app的，web端的，日志，外部api等等，要理清邏輯，清洗數(shù)據(jù)，清晰的分層，需要下很多功夫。
• 差：首先是公司條件'差',然后是狀態(tài)差，因?yàn)榻?jīng)常加班，***是業(yè)務(wù)多('差')。
• 累：清洗數(shù)據(jù)，制作報(bào)表和分析報(bào)告，很累，過(guò)程很漫長(zhǎng)，而且需要加班。

他們天天要用hue跑數(shù)據(jù)，對(duì)數(shù)據(jù)，有時(shí)候還會(huì)碰到數(shù)據(jù)傾斜問(wèn)題，如果沒(méi)找到原因，會(huì)跑一天時(shí)間，還沒(méi)驗(yàn)證數(shù)據(jù)；

有時(shí)候?yàn)榱蓑?yàn)證數(shù)據(jù)和倉(cāng)庫(kù)工程師吵架，有時(shí)候是為了取數(shù)口徑，有時(shí)候?yàn)榱苏{(diào)度，數(shù)據(jù)為什么還沒(méi)出來(lái)，各種扯皮的事情；

有時(shí)候?qū)?shù)據(jù)和業(yè)務(wù)還有運(yùn)營(yíng)吵架，有可能是為了需求，有可能是為了口徑； 

Hadoop組建hue

記得一次為了趕公司的kpi報(bào)表，公司從大數(shù)據(jù)平臺(tái)組，大數(shù)據(jù)倉(cāng)庫(kù)組，大數(shù)據(jù)分析組和大數(shù)據(jù)挖掘組都在加班，確保萬(wàn)無(wú)一失，他們是這樣分工的：

• 大數(shù)據(jù)平臺(tái)組：負(fù)責(zé)大數(shù)據(jù)集群穩(wěn)定運(yùn)行，負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的后端開(kāi)發(fā)。
• 大數(shù)據(jù)倉(cāng)庫(kù)組：負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)，把各個(gè)指標(biāo)從底層ods開(kāi)始計(jì)算到dm應(yīng)用層。
• 大數(shù)據(jù)分析組：負(fù)責(zé)取數(shù)口徑的確認(rèn)，倉(cāng)庫(kù)工程師開(kāi)發(fā)的報(bào)表驗(yàn)證，有時(shí)候自己開(kāi)發(fā)。
• 大數(shù)據(jù)挖掘組：對(duì)有些指標(biāo)需要機(jī)器學(xué)習(xí)分析出來(lái)的，所以他們也要加班。

經(jīng)過(guò)一個(gè)星期的加班加點(diǎn)，成果終于出來(lái)的，然額并沒(méi)有什么卵用嗎，老板不一定認(rèn)可。

重來(lái)，重來(lái)，重來(lái)，老板說(shuō)了三遍，我們很尷尬，分析師更尷尬，因?yàn)榭趶蕉际沁@里來(lái)的。

不僅做的事情有時(shí)候得不到認(rèn)可，而且沒(méi)有成就感。

在我們團(tuán)隊(duì)中，分析組加班是最多的，有時(shí)候還要做倉(cāng)庫(kù)的事情，有時(shí)候還要管調(diào)度，驗(yàn)證數(shù)據(jù)。

有時(shí)候?qū)懘a的時(shí)候還是***興的，我們用的工具主要是pycharm，hive，sparksql，shell ,網(wǎng)易有數(shù)，這個(gè)時(shí)候犯錯(cuò)了還能改，bug可以修復(fù)。

python功能還是很強(qiáng)大的，我們既可以用來(lái)做報(bào)表，又可以用來(lái)發(fā)郵件，又可以用來(lái)運(yùn)維，又可以用來(lái)挖掘，簡(jiǎn)直是全能王。 

功能強(qiáng)大的python，什么都可以做

shell是我們部署腳本線上運(yùn)行的利器。

sparksql基于內(nèi)存運(yùn)算的大數(shù)據(jù)組建，有事給我們驗(yàn)證數(shù)據(jù)帶來(lái)方便，我們很是喜歡。 

spark和hadoop比較

spark 原理

分析工作看起來(lái)簡(jiǎn)單，做起來(lái)很難，需要掌握的很多，路漫漫其修遠(yuǎn)兮，吾將上下而求索。

想進(jìn)入這個(gè)行業(yè)的同學(xué)做好心里準(zhǔn)備，加班多，待遇不一定好，等有了經(jīng)驗(yàn)可能會(huì)好一些。