近日，第二十二屆中國(guó)國(guó)際軟件博覽會(huì)（簡(jiǎn)稱“2018軟博會(huì)”）第五場(chǎng)全球軟件產(chǎn)業(yè)發(fā)展高峰論壇“大數(shù)據(jù)賦能實(shí)體經(jīng)濟(jì)”在北京展覽館召開(kāi)。快手科技平臺(tái)研發(fā)和大數(shù)據(jù)負(fù)責(zé)人韋彬發(fā)表主題演講“快手的數(shù)據(jù)驅(qū)動(dòng)實(shí)踐”，分享中提到數(shù)據(jù)驅(qū)動(dòng)是快手公司文化的一部分，每個(gè)崗位的員工都需要用科學(xué)系統(tǒng)化的方法解決問(wèn)題。

[[235386]]

（快手科技平臺(tái)研發(fā)和大數(shù)據(jù)負(fù)責(zé)人韋彬在大會(huì)上發(fā)表主題演講）

用大數(shù)據(jù)、AI等技術(shù) 提升每個(gè)人獨(dú)特幸福感

韋彬舉了兩個(gè)快手用戶的例子，解釋快手如何用科技提升用戶的幸福感。四川大涼山懸崖村的用戶楊陽(yáng)，楊陽(yáng)通過(guò)快手向全世界展示家鄉(xiāng)的美麗景色，幫助家鄉(xiāng)的土特產(chǎn)找到了銷路，帶領(lǐng)村里人脫貧。還有一位的獨(dú)居的老人，老人在快手展示拉二胡的視頻積累了8萬(wàn)多粉絲，體會(huì)到網(wǎng)友的關(guān)注、關(guān)心，快手幫助老人消除了一點(diǎn)點(diǎn)孤獨(dú)感，提升了一點(diǎn)點(diǎn)幸福感。

韋彬介紹，要做好提升每個(gè)人獨(dú)特的幸福感，需要用到大數(shù)據(jù)技術(shù)、AI技術(shù)，實(shí)現(xiàn)數(shù)億級(jí)別用戶和50億海量視頻的精準(zhǔn)匹配。此外，快手采用AR等前沿技術(shù)給用戶帶來(lái)等新奇體驗(yàn)，提升用戶體驗(yàn)。

快手簡(jiǎn)單UI背后是復(fù)雜的AI系統(tǒng)。從視頻生產(chǎn)到分發(fā)的各個(gè)環(huán)節(jié)，AI技術(shù)貫穿其中。在視頻生產(chǎn)階段，快手自研的YCNN深度學(xué)習(xí)引擎及AR算法，通過(guò)人臉識(shí)別、姿態(tài)估計(jì)、肢體識(shí)別等技術(shù)給用戶提供新奇的視頻特效。視頻上傳后，會(huì)通過(guò)AI來(lái)識(shí)別和理解視頻中的人物、場(chǎng)景、語(yǔ)言、音樂(lè)等各種豐富內(nèi)容。

用戶理解環(huán)節(jié)，快手會(huì)通過(guò)大數(shù)據(jù)去理解每一位用戶的興趣偏好，不僅基于視頻內(nèi)容，還基于點(diǎn)贊、評(píng)論、觀看時(shí)長(zhǎng)、用戶關(guān)系等用戶行為數(shù)據(jù)，幫助快手來(lái)更好的理解用戶。除了理解用戶的興趣偏好，還會(huì)理解用戶潛在的興趣，幫助用戶探索更大的未知領(lǐng)域。

快手的視頻分發(fā)環(huán)節(jié)，背后是一個(gè)超大規(guī)模的實(shí)時(shí)推薦系統(tǒng)，它基于深度學(xué)習(xí)模型，使用萬(wàn)億級(jí)的特征大數(shù)據(jù)，實(shí)現(xiàn)了全鏈路的實(shí)時(shí)在線學(xué)習(xí)。能夠?qū)⒂脩魧?shí)時(shí)行為秒級(jí)更新到模型，通過(guò)檢索、預(yù)測(cè)、排序等子系統(tǒng)實(shí)現(xiàn)視頻與用戶的精準(zhǔn)匹配

AI是快手大腦 數(shù)據(jù)驅(qū)動(dòng)是心臟

產(chǎn)品是快手的面龐，工程是快手的整個(gè)身軀，AI是快手的大腦，數(shù)據(jù)驅(qū)動(dòng)就是快手的心臟。韋彬介紹，之所數(shù)據(jù)驅(qū)動(dòng)可以稱之為快手的心臟，因?yàn)椴还苁撬惴?、產(chǎn)品還是工程，在快手均重度依賴數(shù)據(jù)，需要數(shù)據(jù)體系的持續(xù)支撐。

快手的數(shù)據(jù)驅(qū)動(dòng)，有自己的一套價(jià)值觀，韋彬把它總結(jié)為三個(gè)關(guān)鍵詞。***個(gè)是文化，數(shù)據(jù)驅(qū)動(dòng)是快手公司文化的一部分，在快手要求每個(gè)崗位的同事，需要用科學(xué)系統(tǒng)化的方法解決問(wèn)題，數(shù)據(jù)驅(qū)動(dòng)是系統(tǒng)性方法里最基本的。

第二個(gè)是賦能。希望公司任何一個(gè)崗位的同事，只要對(duì)數(shù)據(jù)有需求，只要能夠通過(guò)數(shù)據(jù)改進(jìn)工作，都可以方便高效地使用快手?jǐn)?shù)據(jù)平臺(tái)及工具獲取和使用數(shù)據(jù)。

第三個(gè)是洞見(jiàn)。數(shù)據(jù)驅(qū)動(dòng)應(yīng)該幫助各個(gè)不同層級(jí)，不同崗位的同事做業(yè)務(wù)上的決策。也就是說(shuō)，關(guān)注的是從數(shù)據(jù)上，能夠發(fā)掘出有洞見(jiàn)的知識(shí)及有價(jià)值的結(jié)論。

數(shù)據(jù)賦能 用數(shù)據(jù)驅(qū)動(dòng)建設(shè)短視頻社區(qū)

韋彬分享了快手在數(shù)據(jù)驅(qū)動(dòng)實(shí)踐過(guò)程中的經(jīng)驗(yàn)積累。經(jīng)驗(yàn)之一，如果不能很好的監(jiān)測(cè)和量化數(shù)據(jù)，就不能去管理和改進(jìn)。韋彬認(rèn)為，使用科學(xué)的數(shù)據(jù)驅(qū)動(dòng)方法，是快手建立短視頻社區(qū)以及社區(qū)獲得高速發(fā)展的重要原因。

快手很早建立實(shí)時(shí)的數(shù)據(jù)指標(biāo)監(jiān)測(cè)體系，通過(guò)定義核心指標(biāo)、監(jiān)測(cè)核心指標(biāo)來(lái)指導(dǎo)社區(qū)優(yōu)化，逐步建立正反饋的健康社區(qū)。比如，通過(guò)監(jiān)測(cè)原創(chuàng)視頻的一些核心指標(biāo)，不斷提升原創(chuàng)視頻的比例，并刺激原創(chuàng)視頻生產(chǎn)，形成良性循環(huán)。

快手的普惠價(jià)值觀，希望所有人都能在這個(gè)平臺(tái)上分享生活。韋彬介紹，快手把這個(gè)價(jià)值觀落地成了具體的可以數(shù)據(jù)驅(qū)動(dòng)的指標(biāo)。比如，經(jīng)濟(jì)學(xué)用基尼系數(shù)反應(yīng)貧困差距的核心指標(biāo)，快手的社區(qū)系統(tǒng)里面，也會(huì)建立類似的核心指標(biāo)，監(jiān)測(cè)整個(gè)系統(tǒng)的中心化的程度以及“貧富差距”程度。

經(jīng)驗(yàn)之二，不同職能團(tuán)隊(duì)需要不同的數(shù)據(jù)賦能方法。韋彬以決策人員、產(chǎn)品經(jīng)理、算法\策略工程師、后端工程師四個(gè)不同的崗位為例，分析了不同的數(shù)據(jù)賦能方法。

決策人員更關(guān)心宏觀的核心指標(biāo)，以及隨時(shí)間的變化趨勢(shì)，一旦發(fā)現(xiàn)異常會(huì)希望能下鉆分析和找出原因，針對(duì)決策層面的數(shù)據(jù)需求，快手建設(shè)了配置化報(bào)表平臺(tái)、留存分析、多維分析等一系列工具。

對(duì)于產(chǎn)品經(jīng)理，他們對(duì)數(shù)據(jù)系統(tǒng)的關(guān)注點(diǎn)在于怎么使產(chǎn)品的迭代更加快，怎么樣更好的做產(chǎn)品上的決策。針對(duì)產(chǎn)品的訴求，快手建立了高效的A/B Test平臺(tái)?？焓值腁/B Test的平臺(tái)能夠支持同時(shí)并行，互不干擾做大量并行的小流量實(shí)驗(yàn)。每天同一時(shí)刻有上百個(gè)實(shí)驗(yàn)同時(shí)進(jìn)行，最終選擇客觀指標(biāo)證明更優(yōu)的方案，產(chǎn)品迭代的效率得到數(shù)量級(jí)的提升。

大數(shù)據(jù)怎樣給AI體系最核心的開(kāi)發(fā)人員賦能？韋彬介紹，快手的算法策略工程師，每天在花大量時(shí)間分析和回答各種偏微觀的數(shù)據(jù)上的問(wèn)題，這些問(wèn)題通常具有不確定性和可探索性，快手針對(duì)這些場(chǎng)景建設(shè)了一個(gè)交互式多維分析系統(tǒng)。

系統(tǒng)的實(shí)時(shí)性能夠?qū)崿F(xiàn)亞秒更新，實(shí)時(shí)接入；系統(tǒng)具有非常強(qiáng)的交互性，在90%的場(chǎng)景可以一秒鐘之內(nèi)返回結(jié)果。此外，該系統(tǒng)提供豐富的多維分析能力以及可視化能力。

對(duì)于后端的工程師的賦能，快手建立一個(gè)基于服務(wù)間調(diào)用大數(shù)據(jù)的調(diào)用鏈分析監(jiān)控系統(tǒng)，在快手復(fù)雜的服務(wù)依賴樹(shù)中，實(shí)時(shí)發(fā)現(xiàn)問(wèn)題，確定影響指標(biāo)，定位問(wèn)題范圍，以讓后端工程師對(duì)服務(wù)質(zhì)量盡在掌握。

經(jīng)驗(yàn)之三，韋彬分享了平臺(tái)重要的基本功。快手的數(shù)據(jù)增長(zhǎng)非常迅速，超大規(guī)模存儲(chǔ)與計(jì)算設(shè)施的建設(shè)考驗(yàn)平臺(tái)的基本功。在監(jiān)控、調(diào)優(yōu)開(kāi)源系統(tǒng)的基礎(chǔ)上，快手對(duì)開(kāi)源系統(tǒng)做了二次開(kāi)發(fā)的深度優(yōu)化，并搭建平臺(tái)，實(shí)現(xiàn)對(duì)超大規(guī)模集群的使用。

此外，隨著數(shù)據(jù)規(guī)模的極速增長(zhǎng)、數(shù)據(jù)從生產(chǎn)到消費(fèi)的鏈條變長(zhǎng)變復(fù)雜，給數(shù)據(jù)體系帶來(lái)多方面的挑戰(zhàn)。快手重視數(shù)據(jù)治理，在質(zhì)量治理、產(chǎn)出治理、安全治理、成本治理4個(gè)方面，并持續(xù)投入，通過(guò)工具鏈研發(fā)、流程改進(jìn)、指標(biāo)驅(qū)動(dòng)等方法為快手大數(shù)據(jù)持續(xù)健康發(fā)展做好保障。