什么是 A/B 測(cè)試？

A/B 測(cè)試，也稱為拆分測(cè)試，是一種營(yíng)銷實(shí)驗(yàn)，可以在其中拆分受眾以測(cè)試廣告系列的多個(gè)變體并確定哪個(gè)效果更好。換句話說(shuō)，可以向一半觀眾展示內(nèi)容/功能/行為的版本 A，而向另一半觀眾展示版本 B。

為什么不使用第三方服務(wù)？

確實(shí)將第 3 方 X 用于 A/B。

對(duì)于 X，觀察到以下問(wèn)題：

• 由于服務(wù)器端標(biāo)記的高延遲
• 特征復(fù)雜度
• 分割部分的跟蹤和影響測(cè)量。
• 成本高

它提供什么？

該服務(wù)（作為微服務(wù)實(shí)現(xiàn)）將使客戶能夠進(jìn)行 A/B 測(cè)試。可以對(duì)多個(gè)特征（返回值）進(jìn)行任意數(shù)量的實(shí)驗(yàn)。

設(shè)計(jì)時(shí)要牢記可擴(kuò)展性和進(jìn)一步增強(qiáng)功能。

常用功能包括：

• 能夠在受限的基礎(chǔ)上控制功能上線（特定用戶）
• 為隨機(jī) (%) 用戶啟用任何功能
• 根據(jù)具有復(fù)雜邏輯的用戶配置文件/特定參數(shù)評(píng)估功能
• 能夠在受限的基礎(chǔ)上控制前端功能（UI 元素）
• 在任何實(shí)驗(yàn)中添加/編輯特征
• 使段相互排斥的能力
• 能夠找出哪個(gè)用戶屬于特定細(xì)分
• 此類實(shí)驗(yàn)可能產(chǎn)生的所有其他分析

技術(shù)棧：

Springboot

Java 8

Maven

Mysql

Groovy

架構(gòu)設(shè)計(jì)：

這是上面實(shí)體保存的內(nèi)容的簡(jiǎn)短描述。所有實(shí)體都擴(kuò)展 BasEntity 以獲取所有實(shí)體的公共列。

• 實(shí)驗(yàn)：所有實(shí)驗(yàn)都將保存在這里，并帶有唯一名稱和可選描述。
• Feature：一個(gè)實(shí)驗(yàn)可以有多個(gè)特征，這些特征將保存在這個(gè)表中，具有唯一的名稱，可選的描述和 experiment_id 作為實(shí)驗(yàn)表的外鍵。 值是該功能將以 json 格式返回給客戶端的內(nèi)容。 Whitelisted_users 將包含 user_id 列表作為逗號(hào)分隔列表，它將告訴哪些用戶分配給此功能。
• 邏輯：由于每個(gè)實(shí)驗(yàn)都可以有一定的條件來(lái)劃分用戶段，所以這個(gè)條件會(huì)保存在邏輯表的條件欄中。（我們稍后會(huì)來(lái)實(shí)現(xiàn)）
• User_Feature_Mapping：因?yàn)槲覀兛赡芟Ｍ坏┯脩舯环峙涞侥硞€(gè)功能，它將在未來(lái)的 api 調(diào)用中保持相同的功能。換句話說(shuō)，我們可能希望保持一致性而不是每次都評(píng)估邏輯（條件）。

流程設(shè)計(jì)：

現(xiàn)在將了解以上 2 個(gè)流程的含義：

usePreCalculated標(biāo)志在這里很重要，因?yàn)樗馕吨覀兪且赜?User_Feature_Mapping 表中包含的值還是再次評(píng)估邏輯表中的條件。

• 如果為假，將檢查實(shí)驗(yàn)的每個(gè)特征的 whitelisted_list。如果退出則返回值，否則將評(píng)估邏輯然后相應(yīng)地返回特征值；
• 如果為真，將首先檢查 user_feature_mapping 表是否存在 user_id 和 experiment_id。如果是，那么返回該值。如果沒(méi)有，那么將按照上面的步驟（步驟 1）

注意：每次評(píng)估邏輯時(shí)，都會(huì)將結(jié)果保存在user_feature_mapping表中

如何評(píng)估條件？

將常規(guī)代碼存儲(chǔ)在邏輯表的條件列中。以下只是一個(gè)示例：

import groovy.lang.GroovyShell;

public class GroovyDemo {
    public static void main(String[] args) {
        System.out.println("This represents some random code");

        String groovyScript = "println 'first line of Groovy output'\n" +
                "println 'second line of Groovy output'";

        GroovyShell groovyShell = new GroovyShell();

        // instead of passing a String you could pass a
        // URI, a File, a Reader, etc... See GroovyShell javadocs
        groovyShell.evaluate(groovyScript);

        System.out.println("This represents some more random code");
    }
}

選擇 groovy shell 是因?yàn)樗哂薪^對(duì)的靈活性。可以執(zhí)行復(fù)雜的功能，甚至可以使用存儲(chǔ)為文本的代碼調(diào)用外部方法和 api。當(dāng)用例很復(fù)雜時(shí)，這很有用，例如想根據(jù)某些只能由第三方 api 實(shí)現(xiàn)的用戶屬性或參數(shù)來(lái)分配用戶段。

例如，如果想將A/B分成90:10，可以對(duì)user_id進(jìn)行模10運(yùn)算，并將結(jié)果0分配給B段，剩下的分配給A段?？梢远啻胃谋壤踔吝壿嫙o(wú)需重新部署。

API列表：

• /experiment POST -> 創(chuàng)建一個(gè)實(shí)驗(yàn)
• /experiment/{experiment_name} PUT -> 編輯實(shí)驗(yàn)
• /experiment/{experiment_name} GET -> 獲取實(shí)驗(yàn)的詳細(xì)信息
• /experiment/{experiment_id}/feature POST -> 向?qū)嶒?yàn)添加特征
• /feature/{feature_id} PUT -> 編輯特征
• /feature/{feature_id}/whitelist PUT -> 編輯特定功能的白名單用戶列表
• /experiment/evaluate/{experiment_name} POST -> 主要 api。評(píng)估實(shí)驗(yàn)并返回 json 格式的響應(yīng)