偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

某CTO眼中的WOT2015大數(shù)據(jù)技術(shù)峰會(huì):干貨應(yīng)接不暇

原創(chuàng)
系統(tǒng) 系統(tǒng)運(yùn)維
11月28、29日,WOT 2015大數(shù)據(jù)技術(shù)峰會(huì)的主辦方51CTO按照行業(yè)領(lǐng)域設(shè)置分享專場(chǎng),我感覺這個(gè)做法的體驗(yàn)很好,講師們的演講水平真心不錯(cuò)。本文是我的分享筆記,內(nèi)容主要是基于我本人已有的知識(shí)體系的信息增量部分,要么是大神們現(xiàn)場(chǎng)講到,但沒有寫到PPT中的關(guān)鍵信息,要么是我認(rèn)為非常精彩、信息量大的PPT截圖。

上半部分文章推薦:資深粉絲眼中的WOT2015大數(shù)據(jù)技術(shù)峰會(huì):干貨應(yīng)接不暇

9.《京東搜索和618實(shí)戰(zhàn)》劉尚堃,京東商城推薦搜索部總監(jiān)

  強(qiáng)烈推薦這場(chǎng)分享!現(xiàn)場(chǎng)的反饋非常好,分享結(jié)束后分享人劉尚堃被眾多同學(xué)團(tuán)團(tuán)圍住,被問各種問題。直到最后大會(huì)組織方需要分享人去拍采訪視頻,熱情的同學(xué)們才離開。

  詳細(xì)內(nèi)容,大家自行下載PPT。

  10.《AB測(cè)試高效實(shí)現(xiàn)全數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品優(yōu)化》王曄,北京吆喝科技有限公司CEO

  這場(chǎng)分享屬于典型的技術(shù)科普,將AB測(cè)試娓娓道來。也順便聊了一下他們的產(chǎn)品,集成了灰度上線、小流量、一鍵回滾、一鍵發(fā)布,支持定向試驗(yàn)。我個(gè)人感覺這是一款很不錯(cuò)的產(chǎn)品,一群專注的人,一起做一件專注的事。

  不過我也有一個(gè)問題:這款產(chǎn)品是否有能力發(fā)現(xiàn)流量中的高仿真爬蟲流量。我之前在電商的經(jīng)驗(yàn),以及前一天京東劉尚堃也提到他們遇到的問題,總會(huì)有一些高仿真用戶行為的爬蟲出現(xiàn)在AB測(cè)試的結(jié)果中;如果不能排除,則會(huì)直接影響試驗(yàn)的結(jié)論。

11.《云計(jì)算企業(yè)服務(wù)創(chuàng)業(yè)感悟》王璞,數(shù)人科技創(chuàng)始人兼CEO

  做技術(shù)出身的王璞,現(xiàn)在創(chuàng)業(yè)做CEO,我這個(gè)同是技術(shù)出身,現(xiàn)初入創(chuàng)業(yè)大門的后來者真心佩服。幾個(gè)關(guān)鍵點(diǎn)記下了:

  CEO要有很強(qiáng)的融資能力

  toB方向有幾百位投資人,每位投資人各有各的秉性,各有各自的投資風(fēng)格和手法。像拜訪客戶一樣拜訪投資人。

  A輪到B輪不用超過1年

  前期發(fā)展越快越好

12.《投資人眼中的技術(shù)創(chuàng)業(yè)者》王金山,IDG資本投資經(jīng)理

  印象很深的幾個(gè)點(diǎn):

  常見減分項(xiàng)1:炫技術(shù)。技術(shù)是手段,而非目的。

  配圖太形象了。

  殺個(gè)人有那么麻煩么?像這張圖一樣,把所有見過的武器都堆在一起。

[[158244]]

  還是上圖一樣,來直接的!

[[158245]]

  常見減分項(xiàng)2:完美主義:在正確的時(shí)間推出80分的產(chǎn)品。

  軟技能:生動(dòng)的“叻”字:能做也能說。

  銷售能力:

[[158246]]

  #p#

13.《大數(shù)據(jù)挖掘下的在線教育創(chuàng)新價(jià)值》李明小,51CTO學(xué)院技術(shù)部總監(jiān)

  這場(chǎng)分享我沒有全程聽到,后半程才到場(chǎng)。

  據(jù)我所知51CTO學(xué)院的業(yè)務(wù)做得非常好,無論學(xué)員規(guī)模還是講師數(shù)量,都在高速增長(zhǎng)。今年在51學(xué)院的平臺(tái)上已經(jīng)有年收入過百萬的講師了,不是講師自己的年薪,而是講師在學(xué)院平臺(tái)上的收入哦!是不是有小伙伴磨拳霍霍了:)

  當(dāng)有學(xué)員沒有按時(shí)間參加活動(dòng)的話,系統(tǒng)會(huì)自動(dòng)感知到,相應(yīng)信息會(huì)通知到輔導(dǎo)員,輔導(dǎo)員會(huì)跟上去交流溝通,了解到原因,再輔導(dǎo)學(xué)員學(xué)習(xí),反饋給講師改進(jìn)教學(xué)質(zhì)量。

  之前都是耳聞,這次聽了李明小的分享,才不得不佩服51學(xué)院超強(qiáng)的運(yùn)營(yíng)能力。

14.《大數(shù)據(jù)時(shí)代的數(shù)據(jù)資產(chǎn)管理》程永新,新炬網(wǎng)絡(luò)執(zhí)行副總裁

  目前大客戶都是國(guó)企

  有一張圖,數(shù)據(jù)規(guī)劃、開發(fā)、集成、運(yùn)營(yíng)、存檔

  企業(yè)中,數(shù)據(jù)要有專人管起來。這一點(diǎn),高度同意!

  數(shù)據(jù)資產(chǎn)-管理平臺(tái)架構(gòu)圖

  增值:對(duì)內(nèi)強(qiáng)化能力

  變現(xiàn):對(duì)外呈現(xiàn)價(jià)值

  關(guān)于大數(shù)據(jù)應(yīng)用的跨界場(chǎng)景

  數(shù)據(jù)價(jià)值:與傳統(tǒng)行業(yè)的跨界合作。

  案例:航空、電信、保險(xiǎn)、銀行幾家數(shù)據(jù)互通、脫敏,為主營(yíng)業(yè)務(wù)合作。

  干貨心得:區(qū)域化的數(shù)據(jù)跨界交換,找到三五個(gè)partner,比理想主義的全球化有用的多。

#p#

  15.《大數(shù)據(jù)點(diǎn)燃營(yíng)銷---百分點(diǎn)精準(zhǔn)營(yíng)銷實(shí)踐》蘇海波,百分點(diǎn)數(shù)據(jù)挖掘部研發(fā)總監(jiān)

  目前,業(yè)內(nèi)真正應(yīng)用大數(shù)據(jù)比較充分的應(yīng)用是:推薦/營(yíng)銷/征信。

  百分點(diǎn)推出了營(yíng)銷管家,此處見營(yíng)銷管家的業(yè)務(wù)流程圖。

  多用戶觸點(diǎn)打通,跨屏投放,整理企業(yè)一方的數(shù)據(jù)沉淀為用戶群體,豐富的營(yíng)銷模型,應(yīng)用微觀層面的用戶畫像,形成用戶建模后的數(shù)據(jù)閉環(huán)。

  目前百分點(diǎn)5000-6000千萬的日活躍UV,3.5億用戶畫像,1億商品記錄,分類體系比較準(zhǔn)確,準(zhǔn)確度達(dá)到95%。

  舉了一個(gè)用戶年齡的例子:

  通過填寫真實(shí)年齡的用戶數(shù)據(jù),預(yù)測(cè)準(zhǔn)確度達(dá)到85%后,再將所有用戶均打上年齡標(biāo)簽。

  消費(fèi)層級(jí)分為9層。之前嘗試過3層,但發(fā)現(xiàn)聚類后,某一層如低價(jià)格區(qū)間的快消品會(huì)聚到很厚的一層。分為9層后,類間的差別比較明顯。

  因?yàn)槭忻嫔系拿總€(gè)DSP能力各不相同,百分點(diǎn)搭建了一個(gè)自動(dòng)對(duì)接所有DSP媒體的DSP,并在分鐘級(jí)將數(shù)據(jù)報(bào)表拉回來。因?yàn)榘俜贮c(diǎn)之前在用戶畫像方面的積累,所以轉(zhuǎn)作營(yíng)銷時(shí),幾個(gè)實(shí)際案例中都大幅地提升了投放效果。

  目前百分點(diǎn)正在與各大公司互相“聚合”數(shù)據(jù),也算某種意義上的數(shù)據(jù)流通、數(shù)據(jù)互換。比如最近合作的公司就有華為這樣的大體量公司。

  為傳統(tǒng)公司收集第一份數(shù)據(jù)時(shí),打磨出了一套數(shù)據(jù)整合工具。

  百分點(diǎn)不愧是行業(yè)內(nèi)在大數(shù)據(jù)領(lǐng)域的先行者之一,從2011年拿到A輪融資,到2014年拿到D輪融資,并發(fā)布BDOS-大數(shù)據(jù)操作系統(tǒng),發(fā)展很快。尤其在2014年趁著政企大推大數(shù)據(jù)的趨勢(shì),發(fā)展勢(shì)頭迅猛。

#p#

  16.《廣告大數(shù)據(jù)核心技術(shù)剖析》盧億雷,AdMaster副總裁

  廣告系統(tǒng)的幾個(gè)大數(shù)據(jù)運(yùn)營(yíng)難點(diǎn):可靠性、可用性、擴(kuò)展性、高性能、安全、性價(jià)比、監(jiān)控維護(hù)。

  推薦關(guān)注Flink

  目前Spark的失敗率高,如果是小時(shí)級(jí)的報(bào)表,推薦MR即可。

  ElasticSearch/Druid(pinot)

  也曾嘗試過100臺(tái)MongoDB,但最后去掉了。最終用SSD來解決復(fù)雜查詢的問題。

  解決多值列問題,推薦Pinot/ES,用于區(qū)別用戶畫像在多個(gè)“行業(yè)”的場(chǎng)景數(shù)據(jù)。

  可以看看ADMaster的數(shù)據(jù)處理流程,應(yīng)該是很有參考意義的。有一些近年來的改進(jìn),好在今年來改動(dòng)不多。

  廣告投放作弊金額,今年達(dá)到63億美金!作弊流量中75%流量是機(jī)器人。

  目前ADMaster與在國(guó)內(nèi)有業(yè)務(wù)的世界500強(qiáng)中的70%有合作,廣告展示的監(jiān)測(cè)。

  盧億雷這位技術(shù)大神恐怕是在中國(guó)互聯(lián)網(wǎng)圈內(nèi)大數(shù)據(jù)技術(shù)分享頻率最高的人之一,幾乎所有大數(shù)據(jù)相關(guān)論壇都少不了他的身影,也是業(yè)內(nèi)著名的交際花之一。

  我本人曾有一次與盧兄兩個(gè)人在北京5號(hào)線地鐵里聊技術(shù)、聊行業(yè),聊了2個(gè)多小時(shí),站的腿都酸了,都不忍離開。

  17.《大數(shù)據(jù)質(zhì)量保障》錢承君,百度測(cè)試經(jīng)理

  個(gè)人簡(jiǎn)介:500人的大搜團(tuán)隊(duì)中,100人是做質(zhì)量保障。

  目前的各種開源技術(shù),很難解決百度遇到的問題,比如幾萬-十幾萬機(jī)器在同一個(gè)機(jī)房,大數(shù)據(jù)量下的集群,很可能會(huì)跨機(jī)房。開源技術(shù)幾乎不考慮跨機(jī)房的問題。

  幾百臺(tái)服務(wù)器有閑置資源,不算大事;但幾十萬臺(tái)服務(wù)器,如果有閑置資源,就太可惜了。

#p#

  5分鐘級(jí)別的反作弊體系。

  復(fù)雜系統(tǒng)的50%以上的代碼是容錯(cuò)代碼。

  比如有磁盤缺油了,在某個(gè)地方的磁道訪問會(huì)變慢,這時(shí)會(huì)引起上層應(yīng)用代碼的問題。還需要在線下環(huán)境中,比如30分鐘內(nèi)復(fù)現(xiàn)問題,定位問題根源,解決問題,再上線。

  能定量地回放、可復(fù)現(xiàn)問題,在百度的大規(guī)模數(shù)據(jù)集群,各種低頻事件一定會(huì)發(fā)生。

  Google的做法則是線上線下完全一樣,物理上也完全一致。比如100臺(tái)線上機(jī)器,100臺(tái)線下機(jī)器。這樣,大幅降低測(cè)試/線上環(huán)境不同帶來的異常。

  Facebook也會(huì)遇到有狀態(tài)回滾和無狀態(tài)回滾。對(duì)于有狀態(tài)的回滾,仍然是頭疼的問題。曾經(jīng)問過Facebook的技術(shù)大神,遇到這種問題怎么解決,大神思索了片刻的回答更加神:you need very very be careful !

  百度的做法是用多個(gè)面的測(cè)試代替一個(gè)體的測(cè)試。

  程序走岔路后,一定是唯一的log標(biāo)識(shí)來表達(dá)路徑的選擇。

  數(shù)據(jù)質(zhì)量保障:

  數(shù)據(jù)log規(guī)則細(xì)化:按比例,當(dāng)有一天某個(gè)規(guī)則下的流量發(fā)生異常,監(jiān)控報(bào)警。以及報(bào)警系統(tǒng)自動(dòng)逐級(jí)升級(jí),從負(fù)責(zé)的工程師,到經(jīng)理。

  錢承君分享的精彩結(jié)尾:“我是做測(cè)試的,今天給各位開發(fā)的同學(xué)做技術(shù)分享,大家還都聽的這么hi,我特別開心”。

  錢承君分享時(shí)語速很快、風(fēng)格特別風(fēng)趣,是整個(gè)周末我聽到的所有分享中最有意思的。這場(chǎng)聽下來,大漲眼界的同時(shí),人也精神抖擻了很多。沒想到聽錢承君的分享,還有這個(gè)功效:)可惜的是他用他最快的語速,也只講了PPT中的一半內(nèi)容;更可惜的是他現(xiàn)場(chǎng)講的東西,80%都不在PPT上,沒聽現(xiàn)場(chǎng)的同學(xué)很難從PPT倒推出他的分享干貨了。

  18.《實(shí)時(shí)競(jìng)價(jià)(RTB)廣告中的數(shù)據(jù)和算法》林招,品友互動(dòng)數(shù)據(jù)部總監(jiān)

  品友林招的本次分享是典型的RTB科普性分享,很多高技術(shù)含量的細(xì)節(jié)顯然沒法在45分鐘之內(nèi)展開,這場(chǎng)分享中我主要記錄一些很有啟發(fā)性的數(shù)據(jù)。

  QPS:30萬次請(qǐng)求/每秒,2015年9月。每次請(qǐng)求處理時(shí)間100ms之內(nèi)。

  200億請(qǐng)求/每日 10億網(wǎng)頁 20萬網(wǎng)站 60萬主流APP

  Redis集群30T

  PC人群400億,APP200億

  至此,我們看到品友DSP的數(shù)據(jù)是不是有點(diǎn)“大”的味道了。這樣的數(shù)據(jù)訪問規(guī)模,每秒30萬次訪問、每日200億次請(qǐng)求,顯然已經(jīng)遠(yuǎn)遠(yuǎn)超出了非廣告領(lǐng)域的絕大多數(shù)企業(yè)接觸到的數(shù)據(jù)量。而國(guó)內(nèi)DSP的領(lǐng)先者再比較國(guó)內(nèi)的廣告領(lǐng)域領(lǐng)頭羊百度大搜、百度網(wǎng)盟、360、騰訊廣點(diǎn)通的數(shù)據(jù)量,恐怕又有較大的數(shù)據(jù)量和數(shù)據(jù)訪問量上的差距。

  廣告時(shí)間:基于品友DMP的CTR/CPA的效果大幅提升,本質(zhì)依賴了品友獲取了更多跨站的用戶行為。

  #p#

算法包括:LR、logitboost、BPR(Bayesian Probit Regression) FTRL DL。

  算法這塊基本沒有展開,可惜了。畢竟CTR與用戶標(biāo)簽是DSP最核心的技術(shù)。

  全局最優(yōu)規(guī)則,DSP的流量不是自己的,所以跟百度情況不一樣。

  遇到挑戰(zhàn):冷啟動(dòng)、臟數(shù)據(jù)

  后記

  在深圳的短暫周末很愉快,深圳天氣也很好,痛苦的是周日晚上我回到了霧都北京,趕上了霧霾爆表,整個(gè)人都不好了。現(xiàn)在的天氣還不錯(cuò),12月1日晚的大風(fēng)吹走北京的大霧,讓幾乎整個(gè)11月都沒見到晴天的北京又見到了太陽。

  另外一個(gè)收獲是我在本次WOT大會(huì)上與3位曾經(jīng)的“黃金一代”成員再聚到了一起,微博推薦廣告技術(shù)總監(jiān)王傳鵬、百分點(diǎn)技術(shù)總監(jiān)蘇海波、京東推薦搜索總監(jiān)劉尚堃。你能想象到2010年左右這幾位技術(shù)大咖在一支團(tuán)隊(duì)中寫代碼么?你能想象出那支曾經(jīng)的“黃金一代”的團(tuán)隊(duì)?wèi)?zhàn)斗力么:)

  最后一張,娛樂一下:

  作者簡(jiǎn)介:

  傅強(qiáng),2015年年中作為技術(shù)合伙人加入九枝蘭,為企業(yè)提供在線營(yíng)銷的整合投放Saas服務(wù)。2006年-2015年任職當(dāng)當(dāng),從工程師、架構(gòu)師、高級(jí)總監(jiān)到技術(shù)副總裁,從技術(shù)的維度,見證了中國(guó)電商時(shí)代的風(fēng)起云涌。

責(zé)任編輯:火鳳凰 來源: 51CTO.com
相關(guān)推薦

2015-12-04 15:52:50

2015-11-30 13:54:11

2015-11-28 13:37:19

2015-12-01 10:51:17

開源51CTO IT技術(shù)周刊

2015-12-02 13:19:12

2015-11-13 08:21:02

WOT于際敬大數(shù)據(jù)

2015-11-23 11:31:47

wot大數(shù)據(jù)運(yùn)營(yíng)

2015-11-06 08:26:34

體系用戶建模微博

2015-11-23 16:46:45

WOTMOB蘭旭大數(shù)據(jù)

2015-10-14 18:06:47

大數(shù)據(jù)測(cè)試團(tuán)隊(duì)運(yùn)維

2015-10-22 16:41:45

WOT2015大數(shù)據(jù)O2O

2015-10-20 15:06:42

WOT程序員創(chuàng)業(yè)

2015-10-27 09:52:03

51CTO

2015-11-11 09:49:27

wot舒服分析

2015-11-24 10:22:08

wot360

2015-11-29 22:51:50

大數(shù)據(jù)數(shù)據(jù)采集WOT

2015-03-18 11:28:06

WOT2015大數(shù)據(jù)大數(shù)據(jù)與運(yùn)維

2015-12-01 11:02:26

移動(dòng)·開發(fā)技術(shù)周刊

2015-11-29 18:19:30

R語言大數(shù)據(jù)建模

2016-11-25 14:29:38

WOT2016大數(shù)據(jù)峰會(huì)大數(shù)據(jù)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)