第十個雙11已圓滿結(jié)束，但是技術(shù)的探索永不止步。阿里技術(shù)推出《十年牧碼記》系列，邀請參與歷年雙11大戰(zhàn)的核心技術(shù)大牛，一起回顧阿里技術(shù)的變遷。

近十年，機器智能在越來越多的領(lǐng)域走進和改變著我們的生活。在互聯(lián)網(wǎng)領(lǐng)域，機器智能則是得到了更普遍和廣泛的應(yīng)用。作為電商平臺的基石，商品搜索團隊一直在打造適合電商平臺的機器智能體系。而每年雙11，則是驗證智能化進程的試金石。今天，阿里資深算法專家元涵帶你穿越時空，感受雙11場景下搜索智能化的十年演進道路。

阿里搜索技術(shù)體系演進至今天，基本形成了由offline、nearline、online三層體系，分工協(xié)作，保證電商平臺上，既能適應(yīng)日常平穩(wěn)流量下穩(wěn)定有效的個性化搜索及推薦，也能夠去滿足電商平臺對促銷活動的技術(shù)支持，實現(xiàn)在短時高并發(fā)流量下的平臺收益***化。

可以看到，十年雙11的考驗后，搜索智能化體系逐漸打造成型，已經(jīng)成為電商平臺穩(wěn)定健康發(fā)展的核動力，主要分為四個階段：自主研發(fā)的流式計算引擎Pora初露鋒芒;雙鏈路實時體系大放異彩;“深度學(xué)習(xí)+強化學(xué)習(xí)”初步探路;全面進入深度學(xué)習(xí)時代。下面我們就來一起看一下。

四大演進階段：業(yè)務(wù)、算法、系統(tǒng)同步發(fā)展

??

階段一：初露鋒芒——自主研發(fā)的流式計算引擎Pora

技術(shù)的演進是伴隨解決實際業(yè)務(wù)問題和痛點發(fā)展和進化的。2014年雙11，通過BI團隊針對往年雙11的數(shù)據(jù)分析，發(fā)現(xiàn)即將售罄的商品仍然獲得了大量流量，剩余庫存無法支撐短時間內(nèi)的大用戶量。主售款(熱銷sku)賣完的商品獲得了流量，用戶無法買到商品熱銷的sku，轉(zhuǎn)化率低;與之相對，一些在雙11當(dāng)天才突然展露出來的熱銷商品卻因為歷史成交一般沒有得到足夠的流量。

針對以上問題，通過搜索技術(shù)團隊自主研發(fā)的流式計算引擎Pora，收集預(yù)熱期和雙11當(dāng)天全網(wǎng)用戶的所有點擊、加購、成交行為日志，按商品維度累計相關(guān)行為數(shù)量，并實時關(guān)聯(lián)查詢商品庫存信息，提供給算法插件進行實時售罄率和實時轉(zhuǎn)化率的計算分析，并將計算結(jié)果實時更新同步給搜索和推薦引擎，影響排序結(jié)果。***次在雙11大促場景下實現(xiàn)了大規(guī)模的實時計算。算法效果上，也***次讓大家感受到了實時計算的威力，PC端和移動端金額也得到顯著提升。

階段二：大放異彩——雙鏈路實時體系

2014年雙11，實時技術(shù)在大促場景上，實現(xiàn)了商品和用戶的特征實時，表現(xiàn)不俗。

2015年搜索技術(shù)和算法團隊繼續(xù)推動在線計算的技術(shù)升級，基本確立了構(gòu)筑基于實時計算體系的【在線學(xué)習(xí)+決策】搜索智能化的演進路線。

早先的搜索學(xué)習(xí)能力，是基于批處理的離線機器學(xué)習(xí)。在每次迭代計算過程中，需要把全部的訓(xùn)練數(shù)據(jù)加載到內(nèi)存中計算。雖然有分布式大規(guī)模的機器學(xué)習(xí)平臺，在某種程度上批處理方法對訓(xùn)練樣本的數(shù)量還是有限制的。在線學(xué)習(xí)不需要緩存所有數(shù)據(jù)，以流式的處理方式可以處理任意數(shù)量的樣本，做到數(shù)據(jù)的實時消費。

接下來，我們要明確兩個問題：為什么需要在線學(xué)習(xí)呢?以及為什么實現(xiàn)秒級的模型更新?

在批量學(xué)習(xí)中，一般會假設(shè)樣本獨立服從一個未知的分布，但如果分布變化，模型效果會明顯降低。而在實際業(yè)務(wù)中，很多情況下，一個模型生效后，樣本的分布會發(fā)生大幅變化，因此學(xué)到的模型并不能很好地匹配線上數(shù)據(jù)。實時模型，能通過不斷地擬合最近的線上數(shù)據(jù)，解決這一問題，因此效果會較離線模型有較大提升。那么為什么實現(xiàn)秒級分鐘級的模型更新?在雙11這種成交爆發(fā)力強、變化劇烈的場景，秒級實時模型相比小時級實時模型時效性的優(yōu)勢會更加明顯。根據(jù)2015年雙11實時成交額情況，前面1小時已經(jīng)完成了大概總成交的1/3，小時模型就無法很好地捕獲這段時間里面的變化。

基于此，搜索技術(shù)團隊基于Pora開發(fā)了基于parameter server的在線學(xué)習(xí)框架，如下圖所示，實現(xiàn)了在線訓(xùn)練，開發(fā)了基于pointwise的實時轉(zhuǎn)化率預(yù)估模型，以及基于pairwise的在線矩陣分解模型。并通過swift輸送模型到引擎，結(jié)合實時特征，實現(xiàn)了特征和模型雙實時的預(yù)測能力。

??

在線學(xué)習(xí)框架

但是，無論是離線訓(xùn)練還是在線學(xué)習(xí)，核心能力是盡可能提高針對單一問題的算法方案的準(zhǔn)確度，卻忽視了人機交互的時間性和系統(tǒng)性，從而很難對變幻莫測的用戶行為以及瞬息萬變的外部環(huán)境進行完整的建模。典型問題是在個性化搜索系統(tǒng)中容易出現(xiàn)反復(fù)給消費者展現(xiàn)已經(jīng)看過的商品。

如何避免系統(tǒng)過度個性化，通過高效的探索來增加結(jié)果的豐富性?我們開始探索機器智能技術(shù)的另一方向——強化學(xué)習(xí)，運用強化學(xué)習(xí)技術(shù)來實現(xiàn)決策引擎。我們可以把系統(tǒng)和用戶的交互過程當(dāng)成是在時間維度上的【state，action，reward】序列，決策引擎的目標(biāo)就是***化這個過程。

在線決策方面，我們***嘗試了運用MAB和zero-order優(yōu)化技術(shù)實現(xiàn)多個排序因子的***融合策略，取代以前依靠離線Learningto rank學(xué)到的排序融合參數(shù)。其結(jié)果是顯著的，在雙11當(dāng)天我們也觀察到，通過實時策略尋優(yōu)，一天中不同時間段的***策略是不同的，這相比全天使用離線學(xué)習(xí)得到的一套固定排序權(quán)重是一個大的進步。

2015年雙11雙鏈路實時計算體系如下圖所示：

??

2015年雙11的實時計算體系

階段三：初步探路——“深度學(xué)習(xí)+強化學(xué)習(xí)”

2015年雙11，在線學(xué)習(xí)被證明效果顯著，然而回顧當(dāng)天觀察到的實時效果，也暴露出一些問題。

• 問題一：在線學(xué)習(xí)模型方面，該模型過度依賴從0點開始的累積統(tǒng)計信號，導(dǎo)致后場大部分熱銷商品都無法在累積統(tǒng)計信號得到有效的差異化表示，模型缺少針對數(shù)據(jù)的自適應(yīng)能力。
• 問題二：在線決策方面。2015年雙11，宏觀實時體系中的MAB( Multi-ArmedBandit)實時策略尋優(yōu)發(fā)揮了重要作用，通過算法工程師豐富經(jīng)驗制定的離散排序策略集合，MAB能在雙11當(dāng)天實時選擇出***策略進行投放;然而，同時暴露出MAB基于離散策略空間尋優(yōu)的一些問題，離散策略空間仍然是拍腦袋的智慧。同時為了保證MAB策略尋優(yōu)的統(tǒng)計穩(wěn)定性，幾十分鐘的迭代周期仍然無法匹配雙11當(dāng)天流量變化的脈搏。

針對***個問題，我們在2016年雙11中也進行了優(yōu)化和改進。對于從0點的累積統(tǒng)計信號到后場飽和以及統(tǒng)計值離散化缺少合理的抓手的問題，我們參考Facebook在AD-KDD的工作，在此基礎(chǔ)上，結(jié)合在線學(xué)習(xí)，我們研發(fā)了Streaming FTRL stacking on DeltaGBDT模型，如下圖所示。

??

Streaming FTRL stacking on DeltaGBDT模型

分時段GBDT模型會持續(xù)為實時樣本產(chǎn)出其在雙11當(dāng)天不同時段的有效特征，并由onlineFTRL去學(xué)習(xí)這些時效性特征的相關(guān)性。

對于在線決策方面的問題，我們進行了策略空間的***化探索，分別嘗試了引入delay reward的強化學(xué)習(xí)技術(shù)，即在搜索中采用強化學(xué)習(xí)(ReinforcementLearning)方法對商品排序進行實時調(diào)控優(yōu)化。我們把搜索引擎看作智能體(Agent)、把用戶看做環(huán)境(Environment)，則商品的搜索問題可以被視為典型的順序決策問題(Sequential Decision-making Problem)。我們的目標(biāo)就是要實現(xiàn)用平臺長期累積收益的***化。

系統(tǒng)方面，2016年雙11我們的實時計算引擎從istream時代平穩(wěn)升級到到 Blink/Flink 時代，實現(xiàn)24小時不間斷無延遲運轉(zhuǎn)，機器學(xué)習(xí)任務(wù)從幾個擴大到上百個job。為算法實現(xiàn)大規(guī)模在線深度學(xué)習(xí)和強化學(xué)習(xí)等前沿技術(shù)打下了堅實的基礎(chǔ)。

階段四：全面進入——深度學(xué)習(xí)時代

由于在線深度學(xué)習(xí)需要強大的計算資源來支持，2017年系統(tǒng)上我們重構(gòu)了流式計算平臺、機器學(xué)習(xí)平臺和支持CPU/GPU的異構(gòu)在線服務(wù)平臺，能夠支持更大規(guī)模的流式數(shù)據(jù)計算，超大規(guī)模深度模型在線學(xué)習(xí)和在線預(yù)估。

依托強大的計算能力，實現(xiàn)了深度學(xué)習(xí)在搜索的全面落地，包括語義搜索，深度用戶興趣感知，商品多模表示學(xué)習(xí)，在線深度機制模型，多場景協(xié)同智能決等技術(shù)創(chuàng)新：

a) 深度用戶感知模型：搜索或推薦中個性化的重點是用戶的理解與表達，基于淘寶的用戶畫像靜態(tài)特征和用戶行為動態(tài)特征，我們提出基于multi-modals learning、multi-task representation learning以及LSTM的相關(guān)技術(shù)，從海量用戶行為日志中直接學(xué)習(xí)用戶的通用表達，該學(xué)習(xí)方法善于“總結(jié)經(jīng)驗”、“觸類旁通”，使得到的用戶表達更基礎(chǔ)且更全面，能夠直接用于用戶行為識別、偏好預(yù)估、個性化召回、個性化排序等任務(wù)，在搜索、推薦和廣告等個性化業(yè)務(wù)中有廣泛的應(yīng)用場景。(相關(guān)成果的論文已被KDD 2018 錄用)

??

b)大規(guī)模商品多模表示學(xué)習(xí)：淘寶商品有文本、圖像、標(biāo)簽、id 、品牌、類目、店鋪，統(tǒng)計特征等多模態(tài)信息，這些特征彼此有一定程度的冗余和互補，我們利用多模學(xué)習(xí)將多維度特征融合在一起學(xué)習(xí)一個統(tǒng)一的商品向量，并通過attention機制實現(xiàn)不同特征維度在不同場景下的差異，比如女裝下圖片特征比較重要，3C下價格，銷量比較重要等。

c)在線深度機制模型：由于不同用戶和不同場景的優(yōu)化目標(biāo)不一樣，我們把用戶狀態(tài)，場景相關(guān)特征加入到了機制模型中，實現(xiàn)了千人千面的排序機制模型。同時由于各種基礎(chǔ)實時日志的qps和延遲都不太一樣，為了保證在線學(xué)習(xí)的穩(wěn)定性，我們構(gòu)建了實時樣本pool來維護一個穩(wěn)定的樣本集合供在線學(xué)習(xí)使用。

d) 全局排序：傳統(tǒng)的排序模型只對單個文檔打分，然后按照分數(shù)從高到底排序。這樣方法無法考慮到商品之間相互的影響;傳統(tǒng)的針對單個商品ctr、cvr都基于這樣一個假設(shè)：商品的ctr、cvr不會受到同時展示出來的其他商品(我們稱為展示context)的影響。而實際上一個商品的展示context可以影響到用戶的點擊或者購買決策：假如同一個商品周邊的商品都和它比較類似，而且價格都比它便宜，那么用戶買它的概率不會高;反之如果周邊差不多的商品都比它貴，那么用戶買它的概率就會大增。而全局排序就要解決這個問題，考慮商品之間的相互影響，實現(xiàn)整頁效率的***化。(相關(guān)成果的論文已被IJCAI2018 錄用)

e) 多場景協(xié)同智能決策：搜索多個不同的產(chǎn)品都是依托個性化來實現(xiàn)GMV***化，導(dǎo)致的問題是不同產(chǎn)品的搜索結(jié)果趨同。而導(dǎo)致這個問題的根本原因是不同場景的算法各自為戰(zhàn)，缺乏合作和關(guān)聯(lián)。今年做的一個重要工作是利用多智能體協(xié)同學(xué)習(xí)技術(shù)，實現(xiàn)了搜索多個異構(gòu)場景間的環(huán)境感知、場景通信、單獨決策和聯(lián)合學(xué)習(xí)，實現(xiàn)聯(lián)合收益***化，而不是此消彼長(相關(guān)成果的論文已被 www 2018錄用)。

驅(qū)動搜索智能化體系的演進的三點

我們再回過頭來看，是什么驅(qū)動了搜索智能化體系的演進?

目前，各大互聯(lián)網(wǎng)公司的主流技術(shù)路線主要是運用機器學(xué)習(xí)技術(shù)來提升搜索/推薦平臺的流量投放效率，隨著計算力和數(shù)據(jù)的規(guī)模增長，大家都在持續(xù)地優(yōu)化和深入。是什么驅(qū)動我們推動搜索的智能化體系從離線建模、在線預(yù)測向在線學(xué)習(xí)和實時決策方向演進呢?概括來說，主要有以下三點。

首先，眾所周知，淘寶搜索具有很強的動態(tài)性，寶貝的循環(huán)擱置，新賣家加入，賣家新商品的推出，價格的調(diào)整，標(biāo)題的更新，舊商品的下架，換季商品的促銷，寶貝圖片的更新，銷量的變化，賣家等級的提升等等，都需要搜索引擎在***時間捕捉到這些變化，并在最終的排序環(huán)節(jié)，把這些變化及時地融入匹配和排序，帶來結(jié)果的動態(tài)調(diào)整。

其次，從2013年起，淘寶搜索就進入千人千面的個性化時代，搜索框背后的查詢邏輯，已經(jīng)從基于原始Query演變?yōu)椤綫uery+用戶上下文+地域+時間】，搜索不僅僅是一個簡單根據(jù)輸入而返回內(nèi)容的不聰明的“機器”，而是一個能夠自動理解、甚至提前猜測用戶意圖(比如用戶瀏覽了一些女士牛仔褲商品，然后進入搜索輸入查詢詞“襯衫”，系統(tǒng)分析用戶當(dāng)前的意圖是找女性相關(guān)的商品，所以會展現(xiàn)更多的女士襯衫，而不是男生襯衫)，并能將這種意圖準(zhǔn)確地體現(xiàn)在返回結(jié)果中的聰明系統(tǒng)，這個系統(tǒng)在面對不同的用戶輸入相同的查詢詞時，能夠根據(jù)用戶的差異，展現(xiàn)用戶最希望看到的結(jié)果。變化是時刻發(fā)生的，商品在變化，用戶個體在變化，群體、環(huán)境在變化。在搜索的個性化體系中合理地捕捉變化，正是實時個性化要去解決的課題。

***，電商平臺也完成了從PC時代到移動時代的轉(zhuǎn)變，隨著移動時代的到來，人機交互的便捷、碎片化使用的普遍性、業(yè)務(wù)切換的串行化，要求我們的系統(tǒng)能夠?qū)ψ兓獪y的用戶行為以及瞬息萬變的外部環(huán)境進行完整的建模?；诒O(jiān)督學(xué)習(xí)時代的搜索和推薦，缺少有效的探索能力，系統(tǒng)傾向于給消費者推送曾經(jīng)發(fā)生過行為的商品或店鋪。

真正的智能化搜索和推薦，需要作為投放引擎的agent有決策能力，這個決策不是基于單一節(jié)點的直接收益來確定，而是當(dāng)作一個人機交互的過程，消費者與平臺的互動看成是一個馬爾可夫決策過程，運用強化學(xué)習(xí)框架，建立一個消費者與系統(tǒng)互動的回路系統(tǒng)，而系統(tǒng)的決策是建立在***化過程收益基礎(chǔ)上。

未來展望——讓淘寶搜索擁有智慧化的體驗

經(jīng)過這么十年雙11大促的技術(shù)錘煉后，圍繞在線AI技術(shù)的智能框架初具規(guī)模，基本形成了在線學(xué)習(xí)加智能決策的智能搜索系統(tǒng)，為電商平臺實現(xiàn)消費者、賣家、平臺三方利益***化奠定了堅實的基礎(chǔ)。這套具備學(xué)習(xí)加決策能力的智能系統(tǒng)也讓搜索從一個簡單的找商品的機器，慢慢變成一個會學(xué)習(xí)會成長，懂用戶，體貼用戶的“人”。

但在這個過程中，搜索排序?qū)W習(xí)到的知識更多都是通過已有的商品標(biāo)簽數(shù)據(jù)和用戶行為數(shù)據(jù)來獲取的，還缺少對商品和用戶更深層次的認知，還無法完全理解用戶的多元意圖表達的真實需求。

比如，用戶搜索了“性感連衣裙”，可能是想找“去參加晚場party的低胸晚裝裙”，也可能是想找“去海邊度假的露肩沙灘裙”;用戶收藏了“登山鞋”和“拐杖”，可能有“登山裝備”的需求，需要發(fā)現(xiàn)更多的和登山裝備相關(guān)的其它品類商品。一個有孩子的爸爸，在暑假剛開始時，挑選“轉(zhuǎn)換接頭”，查看“大英博物館門票”，可能是想帶著家人一起“暑期英國親子游”，需要發(fā)現(xiàn)更多相關(guān)的其它品類商品。

究其原因，目前機器智能技術(shù)特別是以深度學(xué)習(xí)為代表的模型，在現(xiàn)實應(yīng)用中快速發(fā)展，最主要受益于海量大數(shù)據(jù)以及大規(guī)模計算能力，通過對物理世界的數(shù)字化抽象和程式化學(xué)習(xí)，使得機器智能具備很強的限定知識的獲取能力，而很難獲得數(shù)據(jù)之外的知識，就更不用說知識的類比、遷移和推理了。

而機器的認知智能，比如自主學(xué)習(xí)和發(fā)現(xiàn)，甚至創(chuàng)造能力才是人工智能的更高境界。當(dāng)然通用的機器智能還有很多工作要做，在這個過程中，怎么樣首先結(jié)合人類知識和機器智能做到初步的認知智能，讓淘寶搜索擁有智慧化的體驗是未來值得探索的方向。

我們有理由相信，隨著智能技術(shù)的進一步升級，這個“人”會越來越聰明，實現(xiàn)機器智能，認知智能的***目標(biāo)。

【本文為51CTO專欄作者“阿里巴巴官方技術(shù)”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】

??戳這里，看該作者更多好文??