一、背景

二、已支持場景

三、整體架構(gòu)

    1. 業(yè)務(wù)架構(gòu)

    2. 平臺(tái)架構(gòu)

四、架構(gòu)演進(jìn)3.0之圖化

    1. 串行架構(gòu)

    2. 圖化引擎架構(gòu)演進(jìn)

    3. 圖化核心設(shè)計(jì)和協(xié)議

五、配套工具利器

    1. 腳本化開發(fā)&灰度發(fā)布CICD

    2. DIFF評(píng)估平臺(tái)

    3. 干預(yù)平臺(tái)

    4. 召回配置平臺(tái)

六、未來規(guī)劃

一、背景

導(dǎo)購是指在購物過程中為消費(fèi)者提供指引和幫助的人或系統(tǒng)，旨在協(xié)助用戶做出更優(yōu)的購買決策。在電商平臺(tái)中，導(dǎo)購?fù)ㄟ^推薦熱賣商品、促銷活動(dòng)或個(gè)性化內(nèi)容，顯著提升用戶的購物體驗(yàn)，同時(shí)推動(dòng)銷售額的增長。其核心目標(biāo)是通過精準(zhǔn)的引導(dǎo)，滿足用戶需求并促進(jìn)商業(yè)價(jià)值最大化。

詞分發(fā)：導(dǎo)購的重要組成部分

在電商導(dǎo)購體系中，詞分發(fā)作為關(guān)鍵環(huán)節(jié)，主要聚焦于與關(guān)鍵詞推薦相關(guān)的功能。這些功能包括但不限于下拉詞、底紋詞、熱搜榜單、錦囊詞以及風(fēng)向標(biāo)等。這些推薦詞能夠幫助用戶快速定位感興趣的商品或服務(wù)，降低搜索門檻，提高購物效率。例如，下拉詞可以在用戶輸入搜索內(nèi)容時(shí)提供智能提示，而熱搜榜單則能引導(dǎo)用戶關(guān)注平臺(tái)上的熱門趨勢(shì)。

詞分發(fā)平臺(tái)的價(jià)值與功能

為了進(jìn)一步優(yōu)化詞推薦的效率與一致性，詞分發(fā)平臺(tái)應(yīng)運(yùn)而生。該平臺(tái)致力于打造一個(gè)通用、高效的詞推薦生態(tài)系統(tǒng)，通過集成多種算法、工具和通用服務(wù)接口，為公司內(nèi)不同業(yè)務(wù)域提供靈活的詞推薦支持。其主要優(yōu)勢(shì)包括以下幾點(diǎn)：

• 統(tǒng)一開發(fā)，降低成本：詞分發(fā)平臺(tái)通過提供標(biāo)準(zhǔn)化的服務(wù)和接口，避免了各業(yè)務(wù)域重復(fù)開發(fā)和維護(hù)詞推薦功能的成本。不同團(tuán)隊(duì)無需從零開始構(gòu)建推薦系統(tǒng)，只需調(diào)用平臺(tái)提供的接口即可快速實(shí)現(xiàn)定制化的詞推薦功能，大幅節(jié)省開發(fā)時(shí)間和資源。
• 高靈活性，適應(yīng)多場景：平臺(tái)的模塊化設(shè)計(jì)使其能夠根據(jù)不同業(yè)務(wù)場景和需求進(jìn)行快速調(diào)整。例如，針對(duì)促銷活動(dòng)、節(jié)假日特輯或特定品類推薦，平臺(tái)可以動(dòng)態(tài)調(diào)整推薦算法和詞庫，確保推薦內(nèi)容的精準(zhǔn)性和時(shí)效性。
• 支持業(yè)務(wù)擴(kuò)展，提升效率：通過統(tǒng)一的詞分發(fā)平臺(tái)，各業(yè)務(wù)域能夠更專注于核心業(yè)務(wù)邏輯的開發(fā)，而無需過多關(guān)注底層推薦系統(tǒng)的技術(shù)細(xì)節(jié)。這不僅提升了運(yùn)營效率，還為業(yè)務(wù)的快速擴(kuò)展提供了技術(shù)保障。
• 優(yōu)化用戶體驗(yàn)：詞分發(fā)平臺(tái)通過整合先進(jìn)的推薦算法和數(shù)據(jù)分析能力，能夠?yàn)橛脩籼峁└珳?zhǔn)、更個(gè)性化的搜索建議。例如，基于用戶歷史行為和實(shí)時(shí)趨勢(shì)生成的推薦詞，可以幫助用戶更快找到目標(biāo)商品，從而提升整體購物體驗(yàn)。

二、已支持場景

已支持社區(qū)、交易、營銷30+導(dǎo)購場景。

圖片

個(gè)別場景示例

三、整體架構(gòu)

業(yè)務(wù)架構(gòu)

圖片

平臺(tái)架構(gòu)

整體平臺(tái)架構(gòu)

圖片

平臺(tái)+腳本化架構(gòu)

腳本熱部署功能在詞分發(fā)搜索推薦引擎中發(fā)揮了重要作用，其主要目標(biāo)是通過動(dòng)態(tài)加載機(jī)制處理策略頻繁變更的鏈路。實(shí)現(xiàn)這一功能的核心在于定義統(tǒng)一的抽象方法（具備相同出入?yún)ⅲ?，將具體邏輯下放到 SDK 中，并通過后臺(tái)打包、配置和推送流程，在線服務(wù)通過反射機(jī)制快速加載實(shí)現(xiàn)代碼，再結(jié)合 AB 配置選擇適用腳本。這種方法顯著提升了策略調(diào)整的靈活性，同時(shí)減少了服務(wù)器重啟的成本和時(shí)間。

在具體實(shí)施中，首先需要設(shè)計(jì)并實(shí)現(xiàn)統(tǒng)一的抽象方法，確保接口標(biāo)準(zhǔn)一致。隨后，將具體的實(shí)現(xiàn)邏輯封裝到 SDK 中，方便服務(wù)器端動(dòng)態(tài)接收和加載。后臺(tái)則負(fù)責(zé)提供打包、配置和推送功能，將實(shí)現(xiàn)代碼整理為統(tǒng)一的包形式。當(dāng)鏈路策略需要更新時(shí)，開發(fā)人員只需將新的實(shí)現(xiàn)代碼上傳至后臺(tái)，完成打包、配置和推送操作。

在線服務(wù)在檢測到新推送后，利用反射機(jī)制加載具體實(shí)現(xiàn)，并根據(jù) AB 配置選擇適用的腳本運(yùn)行。這種動(dòng)態(tài)加載方式無需重啟服務(wù)，即可實(shí)現(xiàn)策略的即時(shí)切換和優(yōu)化。整體而言，這一方法不僅提高了系統(tǒng)對(duì)策略變更的響應(yīng)速度，還降低了維護(hù)成本，同時(shí)增強(qiáng)了系統(tǒng)的可靠性和穩(wěn)定性，為詞分發(fā)搜索推薦引擎的持續(xù)優(yōu)化提供了有力支持。

圖片

主工程底座和腳本工程

在業(yè)務(wù)迭代的代碼編寫中，通常分為兩種類型：主工程底座和腳本工程。

• 主工程底座主要負(fù)責(zé)實(shí)現(xiàn)抽象和通用層的代碼邏輯，注重提供穩(wěn)定的基礎(chǔ)框架和通用功能，確保系統(tǒng)的整體架構(gòu)和擴(kuò)展性。
• 相比之下，腳本工程更貼近具體業(yè)務(wù)需求和定制化場景，專注于實(shí)現(xiàn)與業(yè)務(wù)邏輯密切相關(guān)的功能模塊。通過這種分工，主工程提供通用的技術(shù)支持，而腳本工程則靈活應(yīng)對(duì)多樣化的業(yè)務(wù)需求，從而實(shí)現(xiàn)開發(fā)效率與業(yè)務(wù)適配性的平衡。

腳本熱部署架構(gòu)的存在原因

腳本熱部署架構(gòu)的存在主要出于以下原因：

• 靈活應(yīng)對(duì)策略變更：通過動(dòng)態(tài)加載腳本，系統(tǒng)能快速適應(yīng)頻繁更新的業(yè)務(wù)需求，無需重啟服務(wù)。
• 降低維護(hù)成本：統(tǒng)一抽象方法和 SDK 實(shí)現(xiàn)減少重復(fù)開發(fā)，后臺(tái)打包推送簡化更新流程。
• 提升效率：反射機(jī)制和 AB 配置實(shí)現(xiàn)即時(shí)腳本切換，節(jié)省時(shí)間并優(yōu)化資源使用。
• 增強(qiáng)穩(wěn)定性：動(dòng)態(tài)調(diào)整策略而不中斷服務(wù)，確保系統(tǒng)持續(xù)穩(wěn)定運(yùn)行。

圖片

四、架構(gòu)演進(jìn)3.0之圖化

串行架構(gòu)

之前詞分發(fā)業(yè)務(wù)一般都可以抽象為“預(yù)處理->召回->融合->粗排->精排->結(jié)果封裝”等固定的幾個(gè)階段，每個(gè)階段通常是有不同的算法或工程同學(xué)進(jìn)行開發(fā)和維護(hù)。為了提升迭代效率，通過對(duì)推薦流程的抽象，將各階段的邏輯抽象為“組件"+"配置”，整體的流程同樣是一個(gè)配置，統(tǒng)一由“編排引擎”進(jìn)行調(diào)度，同時(shí)提供統(tǒng)一的埋點(diǎn)/日志等。讓工程或算法同學(xué)可以關(guān)注在自己的業(yè)務(wù)模塊和對(duì)應(yīng)的邏輯，而框架側(cè)也可以做統(tǒng)一的優(yōu)化和升級(jí)。

圖片

圖化引擎架構(gòu)演進(jìn)

那為什么要去做“圖化”/“DAG”呢？其實(shí)要真正要回答的是:  如何應(yīng)對(duì)上面看到的挑戰(zhàn)？如何解決目前發(fā)展碰到的問題？

從業(yè)界搜推領(lǐng)域可以看到不約而同地在推進(jìn)“圖化”/“DAG”。 從TensorFlow廣泛采用之后，我們已經(jīng)習(xí)慣把計(jì)算和數(shù)據(jù)通過采用算子（Operation）和數(shù)據(jù)（Tensor）的方式來表達(dá)，可以很好的表達(dá)搜索推薦的“召回/融合/粗排/精排/過濾”等邏輯，圖化使得大家可以使用一套“模型”語言去描述業(yè)務(wù)邏輯。DAG引擎也可以在不同的系統(tǒng)有具體不同的實(shí)現(xiàn)，處理業(yè)務(wù)定制支持或者性能優(yōu)化等。

通過圖（DAG）來描述我們的業(yè)務(wù)邏輯，也帶來這些好處：為算法的開發(fā)提供統(tǒng)一的接口，采用算子級(jí)別的復(fù)用，減少相似算子的重復(fù)開發(fā)；通過圖化的架構(gòu)，達(dá)到流程的靈活定制；算子執(zhí)行的并行化和異步化可降低RT，提升性能。

圖片

圖化是一種將業(yè)務(wù)邏輯抽象為有向無環(huán)圖（DAG）的技術(shù)，其中節(jié)點(diǎn)代表算子，邊表示數(shù)據(jù)流。不同的算子可以組合成子圖，起到邏輯更高層封裝的作用，子圖的輸出可供其他子圖或算子引用。通過圖化，策略同學(xué)的開發(fā)任務(wù)得以簡化，轉(zhuǎn)變?yōu)殚_發(fā)算子并抽象業(yè)務(wù)數(shù)據(jù)模型，而無需關(guān)注“并行化”或“異步化”等復(fù)雜邏輯，這些由 DAG 引擎負(fù)責(zé)調(diào)度。算子設(shè)計(jì)要求以較小粒度支持，通過數(shù)據(jù)流定義節(jié)點(diǎn)間的依賴關(guān)系。

圖化引入了全新的業(yè)務(wù)編排框架，為策略同學(xué)提供了“新的開發(fā)模式”，可分為三部分：一是定義算子、圖和子圖的標(biāo)準(zhǔn)接口與協(xié)議，策略同學(xué)通過實(shí)現(xiàn)這些接口來構(gòu)建業(yè)務(wù)邏輯圖；二是 DAG 引擎，負(fù)責(zé)解析邏輯圖、調(diào)度算子，確保系統(tǒng)的性能和穩(wěn)定性；三是產(chǎn)品化支持，包括 DAG Debug 助手協(xié)助算子、圖和子圖的開發(fā)與調(diào)試，以及后臺(tái)提供的可視化管理功能，用于管理算子、子圖和圖。整體架構(gòu)可參考相關(guān)設(shè)計(jì)圖。

圖片

圖化核心設(shè)計(jì)和協(xié)議

節(jié)點(diǎn)‘算子’抽象封裝——面向框架測

算子接口定義IDagTaskNodeExecutor<O>

/**
 * dag 主節(jié)點(diǎn)注解
 */
@Inherited
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.TYPE)
public @interface DagNodeMetaProcessor {
    
    /**
     * 算子名字
     * @return
     */
    String name();
    
    /**
     * 算子描述
     * @return
     */
    String desc() default "";
}

/**
 * 主工程節(jié)點(diǎn)任務(wù)-執(zhí)行器
 *
 * @param <T>
 */
public interface IDagTaskNodeExecutor<T> {
    
    T execute(DagStrategyContext dagStrategyContext);

圖配置文件——面向框架測（使用者無需關(guān)心）

圖分為圖圖，一個(gè)場景可以有多個(gè)圖，可按實(shí)驗(yàn)制定不同的圖；圖定位為業(yè)務(wù)邏輯模版，可以將若干個(gè)獨(dú)立算子組裝為具有特定業(yè)務(wù)含義的“圖”，圖和算子一樣可在場景大“圖”中進(jìn)行配置，即運(yùn)行時(shí)可有多個(gè)“實(shí)例”，實(shí)現(xiàn)邏輯的復(fù)用和配置化。

面向業(yè)務(wù)使用者—如何配置

• 節(jié)點(diǎn)自動(dòng)注冊(cè)：面向使用者無需關(guān)心JSON復(fù)雜的配置化，完全可視化操作。節(jié)點(diǎn)有倆種類型分主節(jié)點(diǎn)和腳本節(jié)點(diǎn)（可視化區(qū)分），節(jié)點(diǎn)注冊(cè)完成框架測實(shí)現(xiàn)。
• 業(yè)務(wù)關(guān)心編排關(guān)系：業(yè)務(wù)只需要關(guān)心節(jié)點(diǎn)之間編排關(guān)系即可。編排關(guān)系也是完全可視化拖拽實(shí)現(xiàn)。
• 線程池隔離：一個(gè)服務(wù)內(nèi)，不同場景線程池是隔離的，一個(gè)場景內(nèi)，不同并行節(jié)點(diǎn)線程池也可以做到隔離，來區(qū)分強(qiáng)弱依賴關(guān)系。
• 關(guān)聯(lián)實(shí)驗(yàn)：一個(gè)場景有基礎(chǔ)場景圖，和實(shí)驗(yàn)圖，實(shí)驗(yàn)圖可以基于某個(gè)實(shí)驗(yàn)發(fā)布不同于場景的復(fù)雜實(shí)驗(yàn)圖。

圖片

五、配套工具利器

腳本化開發(fā)&灰度發(fā)布CICD

自迭代流程圖

圖片

去腳本化后臺(tái)執(zhí)行配置，首先選擇對(duì)應(yīng)環(huán)境的對(duì)應(yīng)集群服務(wù)(先預(yù)發(fā)驗(yàn)證，驗(yàn)證沒問題，提merge給工程cr，合并后操作線上集群)。

腳本配置

如果是新加的腳步，選擇配置，然后在配置頁面對(duì)應(yīng)類型的腳步后面選擇新增，然后添加對(duì)應(yīng)腳本類型的配置（一定要按類型添加，否則加載會(huì)失?。?，然后點(diǎn)擊添加。

腳本構(gòu)建

• 配置完成后，選擇cicd，進(jìn)入cicd頁面，首先選擇新增cicd，然后會(huì)彈框，在彈框中選擇你開發(fā)的分支，然后選擇構(gòu)建，這個(gè)時(shí)候構(gòu)建記錄會(huì)是打包中狀態(tài)，然后等1到3分鐘，刷新當(dāng)前頁面，查看狀態(tài)是否為打包成功，如果為打包失敗需要檢查代碼問題，如果是打包成功，操作欄會(huì)有同步操作；
• 此次新增：在構(gòu)建頁面新增了構(gòu)建日志和操作人兩列信息。

圖片

• 構(gòu)建日志：點(diǎn)擊詳情會(huì)跳轉(zhuǎn)到gitlab cicd日志詳情（此次新增功能）
• 操作人：會(huì)記錄此次操作的具體人員，有問題及時(shí)聯(lián)系相應(yīng)同學(xué)（此次新增功能）

腳本發(fā)布

一次性全量發(fā)布（已有能力）

• 當(dāng)打包成功后，操作欄會(huì)有同步操作，點(diǎn)擊同步，將當(dāng)前打包的版本同步到集群。
• cicd同步成功后，回到集群管理頁面，這時(shí)點(diǎn)擊操作里的發(fā)布操作，發(fā)布成功后，發(fā)布會(huì)變成同步，然后點(diǎn)擊同步，同步成功后，這是集群中就已經(jīng)加載到集群中，這就需要去ab實(shí)驗(yàn)配置具體的腳本然后驗(yàn)證。

灰度發(fā)布

1. 通過cicd頁面，構(gòu)建完jar包后，點(diǎn)擊右側(cè)【灰度發(fā)布】按鈕。

圖片

2. 跳轉(zhuǎn)到灰度發(fā)布頁面

• 基本信息如圖顯示，看圖。
• 發(fā)布間隔：第一批次5%,二批次30%,三批次60%,四批次100%;  當(dāng)前流量xxx%（白名單驗(yàn)證）
• 發(fā)布時(shí)，可以填寫第一批次灰度IP機(jī)器，可選。
• 當(dāng)發(fā)布到第幾批的時(shí)候，頁面顯示高亮。
• 系統(tǒng)一共默認(rèn)四批次，首次點(diǎn)擊發(fā)布是第一批，默認(rèn)第一批暫停，再次點(diǎn)擊發(fā)布，后面三批自動(dòng)發(fā)布（間隔30s）
• 如果發(fā)現(xiàn)異常變多或者RT變高，可馬上回滾，點(diǎn)擊回滾即可回滾上個(gè)版本。
• 如果一切正常，第四批就是全部推全操作，灰度jar包覆蓋基礎(chǔ)jar包。
• 發(fā)布過程中，灰度的流量可以進(jìn)行觀察相應(yīng)的QPS、RT、ERROR、和各個(gè)階段召回、排序、打散等核心模塊的性能和調(diào)用量。

圖片

3. 灰度中的jar包，列表表格狀態(tài)顯示灰度流量。

圖片

4. 在集群維度，有倆個(gè)jar,一個(gè)是灰度中的jar, 另外一個(gè)是基礎(chǔ)base的jar。 表格顯示如下：

圖片

DIFF評(píng)估平臺(tái)

社區(qū)搜索評(píng)測平臺(tái)是面向于內(nèi)部算法、產(chǎn)品、研發(fā)同學(xué)使用的評(píng)測系統(tǒng)，主要用于建設(shè)完善得物社區(qū)搜索badcase評(píng)估標(biāo)準(zhǔn)體系，致力于提升用戶搜索體驗(yàn)和搜索算法問題發(fā)現(xiàn)及優(yōu)化兩方面，提供完善的評(píng)測解決方案。

核心功能包含：query數(shù)據(jù)抽取、快照數(shù)據(jù)抓取、評(píng)測數(shù)據(jù)導(dǎo)出和評(píng)測標(biāo)注結(jié)果效果統(tǒng)計(jì)分析。

圖片

圖片

圖片

干預(yù)平臺(tái)

搜索底紋詞、猜搜詞、下拉詞在搜索鏈路的前置環(huán)節(jié)出現(xiàn)，在用戶沒有明確的搜索需求時(shí)，對(duì)激發(fā)用戶搜索需求有較大的作用，因此，這些場景既是資源位也需要嚴(yán)格把控出詞質(zhì)量。本需求計(jì)劃在上述場景支持干預(yù)能力，支持在高熱事件時(shí)干預(yù)強(qiáng)插，也支持干預(yù)下線某些不合適的詞。

圖片

圖片

召回配置平臺(tái)

在現(xiàn)代的搜索引擎系統(tǒng)中，多路召回是一個(gè)非常重要的組件，其決定了搜索引擎的性能和準(zhǔn)確性。因此，多路召回的配置和管理，對(duì)于搜索引擎系統(tǒng)的性能、穩(wěn)定性和可維護(hù)性來說是至關(guān)重要的。

在以前的詞分發(fā)系統(tǒng)中，多路召回的配置是以JSON字符串的形式存在的。每次修改配置都需要對(duì)這個(gè)JSON進(jìn)行手動(dòng)的編輯，該過程非常耗費(fèi)時(shí)間，隨著召回路的增多，配置效率也會(huì)越來越低，而且這種方式容易出錯(cuò)。因此，我們需要一種更加高效、可視化的方法來管理和配置多路召回。

為了提高多路召回的配置效率和準(zhǔn)確性，我們需要一種可視化的后臺(tái)工具來替代手動(dòng)修改JSON字符串的方式。這樣的后臺(tái)工具可以將多路召回的配置以更加直觀和可視化的方式展示出來，讓配置人員能夠直接在頁面上進(jìn)行配置和修改，從而減少手動(dòng)編輯JSON字符串的錯(cuò)誤和繁瑣性。

通過使用可視化的后臺(tái)工具，我們可以方便地管理和配置各種算法和策略，從而大大提高搜索引擎系統(tǒng)的性能和可維護(hù)性?？梢暬暮笈_(tái)工具對(duì)于提高搜索引擎的性能和可維護(hù)性非常重要，它可以大大簡化配置人員的操作難度和減少錯(cuò)誤，進(jìn)一步提高搜索引擎系統(tǒng)的效率、可靠性和靈活性。

單路配置

多路配置

當(dāng)然還有其他基建和配套工具和基建服務(wù)支撐，這里不一一展開了。

六、未來規(guī)劃

詞分發(fā)平臺(tái)作為搜索引擎系統(tǒng)中的核心組成部分，負(fù)責(zé)管理和分配搜索詞匯的處理與召回流程。其架構(gòu)以靈活性和擴(kuò)展性為核心，參考圖示所示，平臺(tái)通過模塊化設(shè)計(jì)（如 Java 框架 Spring 容器、詞分發(fā)平臺(tái)主工程、依賴注入 Spring 容器、日志調(diào)試能力等）支持高效運(yùn)行。為了適應(yīng)市場需求的不斷變化，未來詞分發(fā)平臺(tái)需從以下幾個(gè)方面持續(xù)優(yōu)化：

• 平臺(tái)建設(shè)：進(jìn)一步完善靈犀平臺(tái)功能，包括繼承監(jiān)控大盤，監(jiān)控維度擴(kuò)展，召回配置和腳本cicd建設(shè)，發(fā)布流水線接入等等。
• 基座框架代碼和工具完善：腳本框架改造2.0，無縫對(duì)接spring容器；構(gòu)建可維護(hù)完善算字庫。通過優(yōu)化現(xiàn)有流程和算法，加速詞匯處理與召回的速度，確保平臺(tái)性能的持續(xù)提升。
• 擴(kuò)展場景：快速接入更多新場景，如商詳觸達(dá)，小藍(lán)詞等等。

此外，未來平臺(tái)將聯(lián)合算法團(tuán)隊(duì)，打破詞圈品與品圈詞之間的數(shù)據(jù)孤島，打通相關(guān)鏈路，從而全面提升詞分發(fā)平臺(tái)的智能化與功能性。這一戰(zhàn)略將推動(dòng)平臺(tái)更好地服務(wù)多樣化業(yè)務(wù)需求，為用戶提供更精準(zhǔn)、高效的搜索體驗(yàn)。