作者 | 曲檀 旭陽(yáng)等

在LBS（Location Based Services, 基于位置的服務(wù)）距離約束下，候選較少制約了整個(gè)到店廣告排序系統(tǒng)的潛力空間。本文介紹了我們從候選類型角度進(jìn)行候選擴(kuò)展，通過(guò)高性能的異構(gòu)混排網(wǎng)絡(luò)來(lái)應(yīng)對(duì)性能的挑戰(zhàn)，從而提升本地生活場(chǎng)景排序系統(tǒng)的潛能上限。希望能給從事相關(guān)方向的同學(xué)以啟發(fā)。

1 背景與簡(jiǎn)介

1.1 背景

美團(tuán)到店廣告負(fù)責(zé)美團(tuán)搜索流量的商業(yè)變現(xiàn)，服務(wù)于到店餐飲、休娛親子、麗人醫(yī)美、酒店旅游等眾多本地生活服務(wù)商家。質(zhì)量預(yù)估團(tuán)隊(duì)負(fù)責(zé)廣告系統(tǒng)中CTR/CVR以及客單價(jià)/交易額等質(zhì)量分預(yù)估，在過(guò)去幾年中，我們通過(guò)位次上下文建模[1]、時(shí)空超長(zhǎng)序列建模[2]等創(chuàng)新技術(shù)，在CTR預(yù)估問(wèn)題中的用戶、上下文等方向都取得了一些突破[3]，并整理成論文發(fā)表在SIGIR、ICDE、CIKM等國(guó)際會(huì)議上。不過(guò)以上論文重在模型精度，而模型精度與廣告候選共同決定著排序系統(tǒng)的質(zhì)量。但在廣告候選角度，相比于傳統(tǒng)電商的候選集合，美團(tuán)搜索廣告因LBS（Location Based Services, 基于位置的服務(wù)）的限制，所以在某些類目上門(mén)店候選較少，而候選較少又嚴(yán)重制約了整個(gè)排序系統(tǒng)的潛力空間。當(dāng)用傳統(tǒng)方式來(lái)增加候選數(shù)量的方法無(wú)法取得收益時(shí)，我們考慮將廣告候選進(jìn)行擴(kuò)展與優(yōu)化，以期提升本地生活場(chǎng)景排序系統(tǒng)的潛能上限。

1.2 場(chǎng)景介紹

單一的門(mén)店廣告不足以滿足用戶找商品、找服務(wù)的細(xì)粒度意圖訴求。部分場(chǎng)景將商品廣告作為門(mén)店廣告的候選補(bǔ)充，兩者以競(jìng)爭(zhēng)方式來(lái)確定展示廣告樣式；此外，還有部分場(chǎng)景商品廣告以下掛形式同門(mén)店廣告進(jìn)行組合展示。多種形式的異構(gòu)廣告展示樣式，給到店廣告技術(shù)團(tuán)隊(duì)帶來(lái)了機(jī)遇與挑戰(zhàn)，我們根據(jù)業(yè)務(wù)場(chǎng)景特點(diǎn)，針對(duì)性地對(duì)異構(gòu)廣告進(jìn)行了混排優(yōu)化。下文以美團(tuán)結(jié)婚頻道頁(yè)和美團(tuán)首頁(yè)搜索為例，分別介紹兩類典型異構(gòu)混排廣告：競(jìng)爭(zhēng)關(guān)系異構(gòu)廣告和組合關(guān)系異構(gòu)廣告。

• 競(jìng)爭(zhēng)關(guān)系異構(gòu)廣告：門(mén)店和商品兩種類型廣告競(jìng)爭(zhēng)混排，通過(guò)比較混排模型中pCTR確定廣告展示類型。如下圖1所示，左列首位為門(mén)店類型廣告勝出，展示內(nèi)容為門(mén)店圖片、門(mén)店標(biāo)題和門(mén)店星級(jí)評(píng)論數(shù)；右列首位為商品類型廣告勝出，展示內(nèi)容為商品圖片、商品標(biāo)題和對(duì)應(yīng)門(mén)店。廣告系統(tǒng)決定廣告的排列順序和展示類型，當(dāng)商品類型廣告獲勝時(shí)，系統(tǒng)確定展示的具體商品。

圖1 競(jìng)爭(zhēng)關(guān)系異構(gòu)廣告在結(jié)婚頻道頁(yè)場(chǎng)景

• 組合關(guān)系異構(gòu)廣告：門(mén)店廣告和其商品廣告組合為一個(gè)展示單元（藍(lán)色框體）進(jìn)行列表排序，商品從屬于門(mén)店，兩種類型異構(gòu)廣告組合混排展示。如下圖2所示，門(mén)店廣告展示門(mén)店的頭圖、標(biāo)題價(jià)格等信息；兩個(gè)商品廣告展示商品價(jià)格、標(biāo)題和銷量等信息。廣告系統(tǒng)確定展示單元的排列順序，并在門(mén)店的商品集合中確定展示的Top2商品。

圖2 組合關(guān)系異構(gòu)廣告在首頁(yè)搜索場(chǎng)景

1.3 挑戰(zhàn)與做法簡(jiǎn)介

圖3 廣告候選量變化示意圖

目前，搜索廣告模型線上為基于DNN（深度神經(jīng)網(wǎng)絡(luò)）[4-6]的門(mén)店粒度排序模型，門(mén)店候選數(shù)量受限（約150）且缺失商品等更直接且重要的決策信息。因此，我們將商品廣告作為門(mén)店的候選補(bǔ)充，通過(guò)門(mén)店與門(mén)店下多商品的混排打開(kāi)候選空間，候選量可以達(dá)到1500+。此外，考慮廣告上下文影響，同時(shí)進(jìn)一步擴(kuò)展打分候選以提升排序上限，我們將門(mén)店粒度升級(jí)為異構(gòu)廣告組合粒度的排序，基于此構(gòu)建生成式廣告組合預(yù)估系統(tǒng)，候選極限達(dá)到了1500X（考慮線上性能我們最終選擇1500X)。而在探索過(guò)程中，我們遇到了以下三大挑戰(zhàn)：

• 商品粒度預(yù)估性能壓力：下沉到商品粒度后增加至少10倍的候選量，造成線上預(yù)估服務(wù)無(wú)法承受的耗時(shí)增加。
• 組合間關(guān)系建模困難：門(mén)店同組合商品的上下文關(guān)系使用Pointwise-Loss建模難以刻畫(huà)。
• 商品廣告冷啟動(dòng)問(wèn)題：僅使用經(jīng)過(guò)模型選擇后曝光的候選，容易形成馬太效應(yīng)。

針對(duì)上述挑戰(zhàn)，技術(shù)團(tuán)隊(duì)經(jīng)過(guò)思考與實(shí)踐，分別進(jìn)行如下針對(duì)性的優(yōu)化：

• 高性能異構(gòu)混排系統(tǒng)：通過(guò)bias網(wǎng)絡(luò)對(duì)門(mén)店信息遷移學(xué)習(xí)，從而實(shí)現(xiàn)高性能商品粒度預(yù)估。
• 生成式廣告組合預(yù)估系統(tǒng)：將商品預(yù)估流程升級(jí)為列表組合預(yù)估，并提出上下文聯(lián)合模型，建模商品上下文信息。
• 異構(gòu)廣告冷啟動(dòng)優(yōu)化：基于湯姆森采樣算法進(jìn)行E&E（Exploit&Explore, 探索與利用）優(yōu)化，深度探索用戶的興趣。

目前，高性能異構(gòu)混排和生成式廣告組合預(yù)估已經(jīng)在多個(gè)廣告場(chǎng)景落地，視場(chǎng)景業(yè)務(wù)不同，在衡量廣告營(yíng)收的千次廣告展示收益（RPM，Revenue Per Mille）指標(biāo)上提升了4%~15%。異構(gòu)廣告冷啟動(dòng)優(yōu)化在各業(yè)務(wù)生效，在精度不下降的前提下給予流量10%隨機(jī)性。下文將會(huì)對(duì)我們的具體做法進(jìn)行詳細(xì)的介紹。

2 技術(shù)探索與實(shí)踐

2.1 高性能異構(gòu)混排系統(tǒng)

打分粒度從門(mén)店下沉為商品后，排序候選量從150增加到1500+，帶來(lái)排序潛力提升的同時(shí)，如果使用門(mén)店模型直接進(jìn)行商品預(yù)估，則會(huì)給線上帶來(lái)無(wú)法承擔(dān)的耗時(shí)增加。通過(guò)分析，我們發(fā)現(xiàn)門(mén)店下所有商品共享門(mén)店基礎(chǔ)特征，占用了80%以上的網(wǎng)絡(luò)計(jì)算，但對(duì)于多個(gè)商品只需要計(jì)算一次，而商品獨(dú)有的、需要獨(dú)立計(jì)算的商品特征只占用20%的網(wǎng)絡(luò)計(jì)算。所以基于這個(gè)特性，我們參照組合預(yù)估[7]的做法，來(lái)實(shí)現(xiàn)異構(gòu)混排網(wǎng)絡(luò)。主網(wǎng)絡(luò)的高復(fù)雜性門(mén)店表征通過(guò)共有表達(dá)的遷移學(xué)習(xí)，實(shí)現(xiàn)對(duì)門(mén)店網(wǎng)絡(luò)輸出層的復(fù)用，從而避免在進(jìn)行商品預(yù)估時(shí)對(duì)門(mén)店網(wǎng)絡(luò)的重復(fù)計(jì)算。如下圖4所示，整個(gè)網(wǎng)絡(luò)分為門(mén)店網(wǎng)絡(luò)和商品網(wǎng)絡(luò)。在離線訓(xùn)練階段，門(mén)店網(wǎng)絡(luò)（主網(wǎng)絡(luò)）以門(mén)店特征作為輸入，得到門(mén)店的輸出層，計(jì)算門(mén)店Loss，更新門(mén)店網(wǎng)絡(luò)；商品網(wǎng)絡(luò)（bias網(wǎng)絡(luò)）以商品特征為輸入，得到商品輸出層，與門(mén)店網(wǎng)絡(luò)的輸出層門(mén)店向量作CONCAT操作，然后計(jì)算最終的商品Loss，并同時(shí)更新門(mén)店網(wǎng)絡(luò)和商品網(wǎng)絡(luò)。為了實(shí)現(xiàn)線上預(yù)估時(shí)對(duì)門(mén)店網(wǎng)絡(luò)輸出層的復(fù)用，我們將商品以List的方式喂入模型，實(shí)現(xiàn)請(qǐng)求一次打分服務(wù)，獲得1（門(mén)店）+n（商品）個(gè)預(yù)估值。另外，對(duì)于門(mén)店的商品數(shù)不固定這一問(wèn)題，我們通過(guò)維度動(dòng)態(tài)轉(zhuǎn)換的方式保證維度對(duì)齊。實(shí)現(xiàn)保持網(wǎng)絡(luò)規(guī)模情況下擴(kuò)大了10倍打分量，同時(shí)請(qǐng)求耗時(shí)僅增加了1%。圖4 異構(gòu)混排網(wǎng)絡(luò)結(jié)構(gòu)圖通過(guò)異構(gòu)混排網(wǎng)絡(luò)，我們?cè)谛阅芗s束下得到了門(mén)店和各個(gè)商品的預(yù)估值，但是由于廣告出口仍然以門(mén)店作為單元進(jìn)行計(jì)費(fèi)排序，所以我們需要根據(jù)不同業(yè)務(wù)場(chǎng)景特點(diǎn)進(jìn)行預(yù)估值應(yīng)用。為了描述方便，下文中用“P門(mén)店”代表門(mén)店的預(yù)估值，“P商品_i”代表第i個(gè)商品的預(yù)估值。篩選頻道頁(yè)的競(jìng)爭(zhēng)關(guān)系異構(gòu)廣告

• 篩選頻道頁(yè)內(nèi)有門(mén)店和商品兩種展示類型進(jìn)行競(jìng)爭(zhēng)，獲勝的廣告類型將最終得到展示。訓(xùn)練階段，每一次曝光為一條樣本，一條樣本為商品和門(mén)店其中一種類型。門(mén)店樣本只更新門(mén)店網(wǎng)絡(luò)，商品樣本同時(shí)更新門(mén)店網(wǎng)絡(luò)和商品網(wǎng)絡(luò)。
• 預(yù)估階段，門(mén)店和商品發(fā)生點(diǎn)擊概率互斥，我們使用Max算子：通過(guò)Max(P門(mén)店 ,P商品_1 ,...,P商品_n )，如果門(mén)店獲勝，則展示門(mén)店信息，門(mén)店的預(yù)估值用于下游計(jì)費(fèi)排序；如果任一商品獲勝，則展示該商品信息，該商品的預(yù)估值用于下游。

首頁(yè)搜索的組合關(guān)系異構(gòu)廣告

• 首頁(yè)搜索的排序列表頁(yè)中每個(gè)展示單元由門(mén)店和兩個(gè)商品組成，機(jī)制模塊對(duì)這一個(gè)展示單元進(jìn)行計(jì)費(fèi)排序。訓(xùn)練階段，每一次曝光為多條樣本：一條門(mén)店樣本和多條商品樣本。門(mén)店樣本只更新門(mén)店網(wǎng)絡(luò)，商品樣本同時(shí)更新門(mén)店網(wǎng)絡(luò)和商品網(wǎng)絡(luò)。
• 預(yù)估階段，由于用戶點(diǎn)擊【更多優(yōu)惠】前，默認(rèn)展示Top2商品，所以可以選擇商品預(yù)估值最高的Top2作為展示商品，其余商品按預(yù)估值排序。我們需要預(yù)估pCTR(門(mén)店|商品1|商品2) 。從數(shù)學(xué)角度分析，我們?cè)陬A(yù)估門(mén)店或商品1或商品2被點(diǎn)擊的概率，因此我們使用概率加法法則算子：pCTR(門(mén)店|商品1|商品2) = 1 - (1-P門(mén)店 ) * (1-P商品_1 ) * (1-P商品_2）。所以在得到門(mén)店和商品預(yù)估值之后，首先要對(duì)商品按預(yù)估值進(jìn)行排序，得到商品商品的展示順序，并選擇Top2的商品預(yù)估值和門(mén)店預(yù)估值進(jìn)行概率加法法則計(jì)算，得到展示單元的預(yù)估值用于門(mén)店排序計(jì)費(fèi)。

雖然系統(tǒng)整體架構(gòu)相似，但是因使用場(chǎng)景不同，樣本生成方式也不同，模型最終輸出的P商品有著不同的物理含義。在競(jìng)爭(zhēng)關(guān)系廣告中，P商品作為和門(mén)店并列的另一種展示類型；組合關(guān)系廣告中，P商品則為門(mén)店廣告展示信息的補(bǔ)充，因此也有著不同預(yù)估值的應(yīng)用方式。最終高性能異構(gòu)混排系統(tǒng)在多個(gè)廣告場(chǎng)景落地，視場(chǎng)景業(yè)務(wù)不同，RPM提升范圍在2%~15%之間。

2.2 生成式廣告組合預(yù)估系統(tǒng)

在商品列表中，商品的點(diǎn)擊率除了受到其本身質(zhì)量的影響外，還會(huì)受到其上下展示商品的影響。例如，當(dāng)商品的上下文質(zhì)量更高時(shí)，用戶更傾向于點(diǎn)擊商品的上下文，而當(dāng)商品上下文質(zhì)量較低時(shí)，用戶則傾向于點(diǎn)擊該商品，這種決策差異會(huì)累積到訓(xùn)練數(shù)據(jù)中，從而形成上下文偏置。而消除訓(xùn)練數(shù)據(jù)中存在的上下文偏置，有利于更好地定位用戶意圖以及維護(hù)廣告系統(tǒng)的生態(tài)，因此我們參照列表排序的思路[8-9]，構(gòu)建生成式商品排序系統(tǒng)，建模商品上下文信息。獲取上下文信號(hào)可以通過(guò)預(yù)估商品列表的全排列，但是全排列的打分量極大（商品候選數(shù)10的全排列打分?jǐn)?shù)為10!=21,772,800）。為了在耗時(shí)允許的情況下獲取上下文信號(hào)，我們采用二次預(yù)估的方式對(duì)全排列結(jié)果進(jìn)行剪枝。首次預(yù)估時(shí)采用Base模型打分，僅取Top N商品進(jìn)行排列，二次預(yù)估時(shí)再利用上下文模型對(duì)排列的所有結(jié)果進(jìn)行打分。將全排列的打分量從10!減少到N!（在線上，我們選擇的N為3）。但是二次預(yù)估會(huì)給服務(wù)帶來(lái)無(wú)法承受的RPC耗時(shí)，為了在性能的約束下上線，我們?cè)赥ensorFlow內(nèi)部實(shí)現(xiàn)了二次預(yù)估模塊。如下圖5所示，我們最終實(shí)現(xiàn)了基于剪枝的高性能組合預(yù)估系統(tǒng)，整體耗時(shí)和基線持平。圖5 基于剪枝的高性能組合預(yù)估系統(tǒng)通過(guò)剪枝和TF算子，任一商品輸入可以感知其上下文信號(hào)。為了建模上下文信息，我們提出基于Transformer的上下文自適應(yīng)感知模型。模型結(jié)構(gòu)如圖6所示：

1. 我們首先將門(mén)店特征及商品特征分別過(guò)Embedding層得到門(mén)店Emb及商品Emb，再通過(guò)全鏈接層得到無(wú)位次商品向量和無(wú)位次的預(yù)估值；
2. 將無(wú)位次商品向量與商品位次信號(hào)進(jìn)行拼接，通過(guò)Transformer建模商品的上下文信息，得到包含上下文信息的商品Emb；
3. 將包含上下文信息的商品Emb與位次信號(hào)再次拼接，通過(guò)DNN非線性交叉，得到包含上下文信息及位次信息的最終輸出商品預(yù)估值。通過(guò)強(qiáng)化商品間的交叉，達(dá)到建模商品上下文的目的，最終生成式廣告組合預(yù)估在首頁(yè)搜索取得了RPM+2%的效果提升。

圖6 下文組合預(yù)估模型

2.3 異構(gòu)廣告冷啟動(dòng)優(yōu)化

為了避免馬太效應(yīng)，我們也會(huì)主動(dòng)試探用戶新的興趣點(diǎn)，主動(dòng)推薦新的商品來(lái)發(fā)掘有潛力的優(yōu)質(zhì)商品。我們?cè)谀Ｐ蜕暇€前，通過(guò)隨機(jī)展示的方式來(lái)挖掘用戶感興趣的商品。但是給用戶展示的機(jī)會(huì)是有限的，展示用戶歷史喜歡的商品，以及探索用戶新興趣都會(huì)占用寶貴的展示機(jī)會(huì)，此外，完全的隨機(jī)展示從CTR/PRS等效果上看會(huì)有較為明顯的下降，所以我們考慮通過(guò)更合理的方式來(lái)解決“探索與利用”問(wèn)題。

相對(duì)于傳統(tǒng)隨機(jī)展示的E&E算法，我們采用基于湯普森采樣的Exploration算法[10]，這樣可以合理地控制精度損失，避免因部分流量進(jìn)行Exploration分桶的bias問(wèn)題。湯普森采樣是一種經(jīng)典啟發(fā)式E&E算法，核心思路可以概況為，給歷史曝光數(shù)（HI，Historical Impressions）較多的商品較低的隨機(jī)性，歷史曝光較少的商品給予較高的隨機(jī)性。具體的做法是我們使商品的預(yù)估值（pCTR）服從一個(gè)beta(a,b)分布，其中：

，其中p是以pCTR為自變量的函數(shù)，n是以EI為自變量的函數(shù)。根據(jù)經(jīng)驗(yàn)，我們最終使用的函數(shù)為：

我們通過(guò)調(diào)節(jié)hyperP和hyperN兩個(gè)參數(shù)來(lái)控制最終呈現(xiàn)結(jié)果的隨機(jī)性。如下圖7所示，action1相比action2分布的均值更高，action3相比另外兩個(gè)分布的隨機(jī)性更強(qiáng)。較高的隨機(jī)性可能會(huì)帶來(lái)準(zhǔn)確性的下降，我們通過(guò)參數(shù)離線模擬，確定全量版本的超參數(shù)。最終上線的模型在精度和效果沒(méi)有下降的前提下，展示的商品有10%的隨機(jī)性。

圖7 不同參數(shù)下beta分布的分布情況

2.4 業(yè)務(wù)實(shí)踐

異構(gòu)混排和廣告組合預(yù)估有效地解決了LBS限制下門(mén)店候選較少的問(wèn)題。對(duì)于前文介紹的兩類典型異構(gòu)廣告：競(jìng)爭(zhēng)關(guān)系異構(gòu)廣告和組合關(guān)系異構(gòu)廣告，我們根據(jù)其展示樣式和業(yè)務(wù)特點(diǎn)，將相應(yīng)的技術(shù)探索均進(jìn)行了落地，并取得了一定的效果。如下圖8所示：

圖8 異構(gòu)廣告混排技術(shù)業(yè)務(wù)實(shí)踐

3 總結(jié)

本文介紹了美團(tuán)到店搜索廣告業(yè)務(wù)中異構(gòu)廣告混排的探索與實(shí)踐，我們通過(guò)高性能的異構(gòu)混排網(wǎng)絡(luò)來(lái)應(yīng)對(duì)性能挑戰(zhàn)，并根據(jù)業(yè)務(wù)特點(diǎn)對(duì)異構(gòu)預(yù)估進(jìn)行了應(yīng)用。為了建模廣告的上下文信息，我們將商品預(yù)估流程由單點(diǎn)預(yù)估升級(jí)為組合預(yù)估模式，并提出上下文組合預(yù)估模型，建模商品位次及上下文信息，然后，通過(guò)基于湯普森算法的E&E策略對(duì)商品冷啟動(dòng)問(wèn)題進(jìn)行了優(yōu)化，在多個(gè)場(chǎng)景均取得了一定的成果。近期，已經(jīng)有越來(lái)越多業(yè)務(wù)場(chǎng)景開(kāi)始了展示樣式的升級(jí)，例如美食類目由門(mén)店調(diào)整為菜品廣告，酒店類目由門(mén)店調(diào)整為房型展示，本文提到的方案與技術(shù)也在逐步的推廣落地過(guò)程中。值得一提的是，相比于美團(tuán)以門(mén)店作為廣告主體，業(yè)界的廣告主體以商品和內(nèi)容為主，本文提到的共有表達(dá)遷移和生成式組合預(yù)估的技巧，可以應(yīng)用在商品和創(chuàng)意的組合問(wèn)題上，更進(jìn)一步拓展候選規(guī)模。廣告異構(gòu)混排項(xiàng)目也是從業(yè)務(wù)視角出發(fā)，勇于打破原來(lái)迭代框架下的一次重要嘗試。我們希望該項(xiàng)目能夠通過(guò)技術(shù)手段來(lái)解決業(yè)務(wù)問(wèn)題，然后再通過(guò)業(yè)務(wù)理解反推技術(shù)的進(jìn)步。此外，我們也將在廣告候選問(wèn)題上進(jìn)行更多的探索，尋找新的突破點(diǎn)，從而進(jìn)一步設(shè)計(jì)更完善的網(wǎng)絡(luò)結(jié)構(gòu)，不斷釋放排序系統(tǒng)的潛力空間。

4 參考資料

• [1] Huang, Jianqiang, et al. "Deep Position-wise Interaction Network for CTR Prediction." Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2021.
• [2] Qi, Yi, et al. "Trilateral Spatiotemporal Attention Network for User Behavior Modeling in Location-based Search." Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021.
• [3] 胡可，堅(jiān)強(qiáng)等.  廣告深度預(yù)估技術(shù)在美團(tuán)到店場(chǎng)景下的突破與暢想
• [4] Cheng, Heng-Tze, et al. "Wide & deep learning for recommender systems." Proceedings of the 1st workshop on deep learning for recommender systems. 2016.
• [5] Zhou, Guorui, et al. "Deep interest network for click-through rate prediction." Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018.
• [6] Ma, Jiaqi, et al. "Modeling task relationships in multi-task learning with multi-gate mixture-of-experts." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.
• [7] Gong, Yu, et al. "Exact-k recommendation via maximal clique optimization." Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining. 2019.
• [8] Guo, Huifeng, et al. "PAL: a position-bias aware learning framework for CTR prediction in live recommender systems." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.
• [9] Feng, Yufei, et al. "Revisit Recommender System in the Permutation Prospective." arXiv preprint arXiv:2102.12057 (2021).
• [10] Ikonomovska, Elena, Sina Jafarpour, and Ali Dasdan. "Real-time bid prediction using thompson sampling-based expert selection." Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2015.