一、文娛產(chǎn)業(yè)趨勢(shì)及技術(shù)挑戰(zhàn)

文娛內(nèi)容不像商品有完整的量化指標(biāo)體系，它是一個(gè)復(fù)雜的實(shí)體，它跟意識(shí)形態(tài)以及用戶體驗(yàn)強(qiáng)相關(guān)，對(duì)內(nèi)容進(jìn)行量化評(píng)估和衡量是非常困難的。

比如，選角兒。我們不能通過(guò)單一指標(biāo)去衡量一個(gè)演員，我們需要綜合考量演員的演技、氣質(zhì)、顏值、潛力等與否與某一個(gè)角色匹配，并且能生成數(shù)據(jù)指標(biāo)，以實(shí)現(xiàn)縱橫向的對(duì)比。另外，導(dǎo)演、主演組盤是否為最優(yōu)組合，能否成為爆款?這是更加復(fù)雜的選擇模式問(wèn)題。今天面臨的技術(shù)挑戰(zhàn)是如何進(jìn)行知識(shí)的抽取、挖掘以及推理，確定什么樣的組合是最優(yōu)解。

除上述兩個(gè)問(wèn)題，影片的拍攝過(guò)程更是一個(gè)龐大的系統(tǒng)工程和藝術(shù)創(chuàng)作過(guò)程。以《長(zhǎng)安十二時(shí)辰》為例，該片非群演有約1000人，群演有300到1500人，歷時(shí)7個(gè)月拍攝217天。我們參考軟件工程行業(yè)，軟件工程發(fā)展了70年，主要研究三個(gè)層面：方法論、過(guò)程以及工具，然后是如何將三者組合。軟件行業(yè)的敏捷開發(fā)對(duì)于軟件工程的質(zhì)量和效率都有非常大的提升，如何將這些理論應(yīng)用到內(nèi)容制作產(chǎn)業(yè)，讓內(nèi)容制作敏捷起來(lái)?

內(nèi)容敏捷即知曉過(guò)程對(duì)結(jié)果造成的影響是什么，并快速地調(diào)整內(nèi)容創(chuàng)作過(guò)程，讓它更敏捷。但內(nèi)容行業(yè)面臨的獨(dú)有特點(diǎn)“延遲滿足”，讓用戶在內(nèi)容的某一分鐘特別嗨，可能來(lái)自于前面的30分鐘鋪墊在那一分鐘爆發(fā)了，針對(duì)內(nèi)容的這個(gè)特點(diǎn)，我們除了要做基本的知識(shí)圖譜語(yǔ)義的理解之外，還要考慮如何去做有效的對(duì)應(yīng)分析，如何去做對(duì)應(yīng)的知識(shí)抽取等問(wèn)題。

今天這個(gè)問(wèn)題加劇了，比過(guò)去還要復(fù)雜。在過(guò)去的5到10年里，UPGC加上整個(gè)內(nèi)容的生產(chǎn)量極大的發(fā)展，用戶的消費(fèi)分層化、多樣化。全民爆款越來(lái)越少，用戶對(duì)內(nèi)容的需求更加個(gè)性化。相應(yīng)于內(nèi)容生產(chǎn)端，就需要考慮不同用戶群的個(gè)性化需求。

二、文娛大腦基本框架：內(nèi)容認(rèn)知新動(dòng)力

針對(duì)上面幾大困難，我們今天在做文娛大腦——優(yōu)酷北斗星智庫(kù)來(lái)解決。我們將所有的內(nèi)容形式和用戶消費(fèi)的數(shù)據(jù)都采集下來(lái)，將人工智能的技術(shù)手段、業(yè)務(wù)領(lǐng)域的細(xì)分理論做整合融合，構(gòu)建內(nèi)容認(rèn)知框架。

內(nèi)容認(rèn)知框架分為兩部分，內(nèi)容和用戶。其思路就是心理學(xué)發(fā)展的基本的思路。

1)內(nèi)容側(cè)：對(duì)內(nèi)容進(jìn)行理解，包括外延和內(nèi)涵。外延就是內(nèi)容的各種基本屬性，比如主創(chuàng)陣容、題材類型等;內(nèi)涵主要研究?jī)?nèi)容的戲劇理論和視聽語(yǔ)言，圍繞制作內(nèi)容的支撐要素，我們用傳統(tǒng)的機(jī)器學(xué)習(xí)方式對(duì)內(nèi)容進(jìn)行理解，再基于戲劇理論和視聽語(yǔ)言構(gòu)造內(nèi)容的衡量要素。

2)用戶側(cè)：分析用戶的觀看行為。用戶行為來(lái)自于用戶的心理偏好、心理情緒。用戶心理偏好、心理情緒來(lái)自于生理構(gòu)造，基于心理學(xué)的五大人格理論和用戶的觀看行為，構(gòu)建模型建立左邊和右邊的連接，從而知道創(chuàng)造什么樣的內(nèi)容，用戶會(huì)有什么樣的感受。

三、貫穿全生命周期的文娛大腦生產(chǎn)力

基于內(nèi)容認(rèn)知框架，我們?cè)趦?nèi)容生命周期的每個(gè)階段都做了具體工作：開播前提供內(nèi)容評(píng)估、藝人挖掘和內(nèi)容情緒挖掘等能力;在早期為內(nèi)容評(píng)估提供有效的數(shù)據(jù)支撐;在制作階段提供現(xiàn)場(chǎng)解決方案，比之前更敏捷的反饋機(jī)制;同樣在播出后也提供數(shù)據(jù)支持，實(shí)現(xiàn)更好的宣發(fā)。

1、IP/劇本分析

上圖是《長(zhǎng)安十二時(shí)辰》的分析示例，我們把已有的劇本作為樣本，讓機(jī)器去學(xué)習(xí)，識(shí)別出劇本的所有角色，把角色直接交互的對(duì)白、行為識(shí)別出來(lái)，再進(jìn)行社團(tuán)的劃分?！堕L(zhǎng)安》劇本最終劃分出來(lái)幾個(gè)群體：反恐防暴小分隊(duì)以張小敬為中心，唐朝核心管理團(tuán)隊(duì)以皇上為中心。通過(guò)這種方式快速定位整個(gè)劇本的人物和人物關(guān)系的展開。

2、用戶情緒識(shí)別與成片情緒挖掘

圍繞角色關(guān)系，將整個(gè)劇本的角色情緒也識(shí)別出來(lái)，構(gòu)造成如上的曲線。基于對(duì)海量劇本的分析曲線，抽取出各個(gè)指標(biāo)(出鏡率、戲份、情緒值等)并形成benchmark，對(duì)于之后的每一個(gè)劇本進(jìn)行衡量，相當(dāng)于對(duì)劇本進(jìn)行一個(gè)“體檢”。

同樣是“體檢”的方法，對(duì)于《藥神》和《長(zhǎng)安十二時(shí)辰》，我們做了用戶情緒的識(shí)別、體檢的掃描，參考零線的位置。我們發(fā)現(xiàn)《藥神》幾乎都是正向和負(fù)向級(jí)的，直到最后出現(xiàn)一個(gè)正向區(qū)間，基本上后期都是以眼淚為主。而《長(zhǎng)安十二時(shí)辰》的情緒狀態(tài)比較穩(wěn)定。對(duì)照情緒高低點(diǎn)的具體情節(jié)，我們發(fā)現(xiàn)，曲線表達(dá)的情緒和具體的故事情節(jié)是非常相符的。

3、情緒強(qiáng)度預(yù)測(cè)與網(wǎng)絡(luò)收視率

然后我們拿更多的方式去驗(yàn)證它的合理性，上圖抽取《長(zhǎng)安十二時(shí)辰》的劇集，每集有兩條曲線，藍(lán)線是剛才預(yù)測(cè)的情緒曲線，黃線是播放指數(shù)(表示每一秒鐘有多少用戶在看)，通過(guò)兩條曲線對(duì)比，我們可以發(fā)現(xiàn)，兩條曲線的相關(guān)性比較高的將近60%，情緒的高峰、低谷和用戶的觀看行為狀態(tài)是吻合的，由此我們就提供了一種能力，基于這種能力對(duì)劇本或影片做情緒掃描，實(shí)現(xiàn)對(duì)影片熱度的未播先知，再對(duì)比benchmark，幫助制作者更高效的完成制作。

4、用戶情感曲線在技術(shù)上是如何實(shí)現(xiàn)的?

首先，我們把用戶觀影情緒的表述，映射到認(rèn)知計(jì)算中常用的二維空間表示，也就是Valence 和Arousal。Valence表示情緒正負(fù)極性，Arousal表示情感激烈程度;

其次，基于情緒極性跟強(qiáng)度提供一個(gè)預(yù)測(cè)，這個(gè)是我們今年產(chǎn)出的論文。近兩年，心理學(xué)研究的核心觀點(diǎn)是為什么用戶會(huì)感同身受?這來(lái)自于前兩年的一個(gè)理論——靜向神經(jīng)元，所以我們選擇場(chǎng)景、表情、動(dòng)作以及聲音作為基本的模型的輸入，對(duì)模型參數(shù)進(jìn)行學(xué)習(xí)。

如上所講，內(nèi)容產(chǎn)業(yè)有強(qiáng)延遲滿足的問(wèn)題，我們通過(guò)兩層分析來(lái)解決長(zhǎng)短期滿足的問(wèn)題，除用戶情緒分析，我們也做內(nèi)容角色的情緒識(shí)別。通過(guò)圖片表情識(shí)別模型，識(shí)別不同題材類型的影片，可以獲得不同角色刻畫的人物性格。如2004年的《反貪風(fēng)暴》，時(shí)隔十多年，主創(chuàng)人物形象的臉譜還是正向的。上圖顯示的負(fù)面角色情緒以開心、害怕為主，正面形象以悲傷、生氣為主，與負(fù)面反派的開心正好相對(duì)，正面的人一直很沮喪，是一個(gè)有些壓抑角色形象。

同樣，我們分析角色的每秒情緒，形成角色的正負(fù)情緒曲線，部分影片的分析結(jié)果曲線如上圖，不同題材類型的節(jié)目會(huì)有不同的情緒密度。所以，你想放松的時(shí)候，要看的不一定是喜劇，喜劇其實(shí)不一定會(huì)放松，因?yàn)榻巧恼?fù)向情緒不停交替，由于延遲滿足，大腦負(fù)荷非常大，需要做長(zhǎng)短記憶，反而很多愛情片對(duì)大腦的占用相對(duì)低。

角色情緒檢測(cè)是一個(gè)分類問(wèn)題，所以利用人臉landmark對(duì)初始圖像做識(shí)別，生成densemap作為附加通道，和原始圖片RGB三通道拼接合并后作為模型輸入，這樣可以使densemap對(duì)應(yīng)的關(guān)鍵區(qū)域權(quán)重更大，更容易讓模型捕捉關(guān)鍵區(qū)域特征;合成的輸入送入到Reduced Xception 網(wǎng)絡(luò)進(jìn)行特征提取;在loss方面，我們引入了基于SVM的marge loss，提升各情緒類別的類間差距，提升情緒識(shí)別的效果，具體如上圖。

基于前面對(duì)內(nèi)容的各種理解產(chǎn)生的各種緯度的內(nèi)容的量化緯度，我們構(gòu)建了預(yù)測(cè)模型，可以提前預(yù)測(cè)出節(jié)目的流量走勢(shì)，如內(nèi)容認(rèn)知框架中所講的，首先對(duì)內(nèi)容進(jìn)行量化，然后對(duì)內(nèi)容相應(yīng)的量化緯度進(jìn)行提前的預(yù)測(cè)，為業(yè)務(wù)決策提供輔助支撐。 最后，分享我對(duì)未來(lái)趨勢(shì)的一些見解。在強(qiáng)人工智能尚遙遠(yuǎn)的情形下，如何結(jié)合機(jī)器AI和人工經(jīng)驗(yàn)將是個(gè)永恒主題。一是結(jié)合符號(hào)學(xué)派智能和鏈接學(xué)派智能，建設(shè)和完善決策引擎，包括結(jié)合人工邏輯規(guī)則和可學(xué)習(xí)數(shù)據(jù)AI，不確定性分析框架和經(jīng)久不衰的貝葉斯因果決策，以及神經(jīng)元化的混合智能計(jì)算框架。二是量化的心理學(xué)研究也越來(lái)越重要，如何結(jié)合大數(shù)據(jù)應(yīng)用價(jià)值非常大。這也是阿里文娛大腦探索的方向。