4月26日，《火山引擎A/B測試總體經(jīng)濟影響白皮書》正式發(fā)布。這份白皮書由市場研究公司Forrester調研撰寫，揭示了A/B測試對于企業(yè)營收增長、運營成本、生產(chǎn)力優(yōu)化等方面的重要影響?；趯Χ嗉移髽I(yè)調研，F(xiàn)orrester發(fā)現(xiàn)企業(yè)營收增長與其洞察力高度相關，領先企業(yè)的營收增長速度可以達到落后者的5倍，A/B測試正是企業(yè)提升洞察力最有效的工具之一。

白皮書中，F(xiàn)orrester調研了多家使用火山引擎A/B測試的企業(yè)，發(fā)現(xiàn)這些企業(yè)的廣告營收和會員運營收益均有明顯提升。綜合財務分析來看，企業(yè)使用A/B測試的ROI（投資回報率）達到126%。

《火山引擎A/B測試總體經(jīng)濟影響白皮書》：具有較高成熟度的洞察力驅動企業(yè)，營收增長是落后者的5倍

A/B測試成為企業(yè)降本增效利器

隨著人口紅利逐漸消退，各行各業(yè)面臨著不同程度的增長瓶頸，企業(yè)迫切需要由過去粗放式的運營模式，轉變到以客戶體驗至上的精細化運營模式。白皮書顯示：94%的企業(yè)決策者認為，客戶需求及偏好相關的數(shù)據(jù)洞察對于提升企業(yè)營收極為關鍵；81%的企業(yè)認為通過數(shù)據(jù)深入了解客戶的需求，并基于數(shù)據(jù)不斷改進和優(yōu)化解決方案，提升了競爭優(yōu)勢。

作為客戶洞察最有效的工具之一，A/B 測試正在被越來越多的企業(yè)所采納。A/B測試本質是對照實驗，其方法是對不同策略進行隨機對比，通過實驗數(shù)據(jù)來確定最優(yōu)方案。為了客觀呈現(xiàn)A/B測試帶來的實際價值，F(xiàn)orrester使用總體經(jīng)濟影響（TEI）模型，對采用火山引擎A/B測試產(chǎn)品的企業(yè)進行調研分析。

調研顯示，A/B測試能通過優(yōu)化的方式實現(xiàn)廣告營收增長、會員運營收益提升、運營成本節(jié)省，以及提升數(shù)據(jù)分析效率，實現(xiàn)生產(chǎn)力優(yōu)化。量化分析表明，受訪企業(yè)產(chǎn)品上線迭代效率提升20%，數(shù)據(jù)分析效率提升60%，三年廣告業(yè)務利潤凈增長224萬元，三年會員運營利潤凈增長115萬元。綜合財務分析來看，企業(yè)應用A/B測試的ROI達到126%。

“通過分流模型和持續(xù)的試驗，我們大幅度優(yōu)化了開屏廣告，廣告營收取得了翻倍的增長，這是以往無法做到的”，一家受訪企業(yè)表示A/B測試的效果超出了預期。

白皮書指出，A/B測試帶來的還有非量化收益，包括降低產(chǎn)品新版本發(fā)布風險、提升客戶參與及活躍度、落地數(shù)據(jù)驅動的文化，以及提升企業(yè)自適應性，實現(xiàn)業(yè)務快速迭代和持續(xù)創(chuàng)新。

Forrester高級咨詢顧問谷豐認為，洞察力驅動成熟度與企業(yè)營收增長高度相關，具有較高成熟度的洞察力驅動企業(yè)，營收增長是落后者的5倍。

從A/B測試走向“敏捷數(shù)智引擎”

字節(jié)跳動被稱為一家“A/B測試”公司，有著“萬事不決問AB”的流行語，甚至連抖音的名字也是通過A/B測試測出來的。作為字節(jié)跳動旗下的企業(yè)級技術服務平臺，火山引擎也將A/B測試視為重要的技術工具。

火山引擎數(shù)據(jù)產(chǎn)品負責人郭東東表示，基于內(nèi)部先進的底層算法、科學分流能力、智能統(tǒng)計引擎，火山引擎A/B測試已覆蓋推薦、廣告、搜索、UI、產(chǎn)品功能等業(yè)務場景，提供從實驗設計、實驗創(chuàng)建、指標計算和統(tǒng)計分析，到最終評估上線等貫穿整個實驗生命周期的服務。

郭東東指出，A/B測試是一個重要的生產(chǎn)力工具，但轉型為洞察驅動型組織還需要搭配數(shù)據(jù)驅動更多的能力。為此，火山引擎基于字節(jié)跳動數(shù)據(jù)驅動理念，為企業(yè)客戶提供了一套完整的數(shù)據(jù)中臺，實現(xiàn)從單品數(shù)智到全局數(shù)智。

圖：火山引擎數(shù)據(jù)產(chǎn)品全景圖

火山引擎數(shù)據(jù)中臺分為SaaS層和PaaS層。SaaS層主要是數(shù)據(jù)應用產(chǎn)品，核心是幫助業(yè)務使用數(shù)據(jù)、推動業(yè)務增長，包括A/B測試產(chǎn)品 DataTester、增長營銷平GMP、增長分析DataFinder、客戶數(shù)據(jù)平臺CDP、智能數(shù)據(jù)洞察ABI。PaaS層主要是數(shù)據(jù)中臺類產(chǎn)品，提效數(shù)據(jù)開發(fā)、沉淀數(shù)據(jù)資產(chǎn)，包括湖倉一體分析服務LAS、Stateless云原生開源大數(shù)據(jù)平臺E-MapReduce、極速OLAP引擎ByteHouse、大數(shù)據(jù)研發(fā)治理套件DataLeap。

郭東東介紹，與傳統(tǒng)建設數(shù)據(jù)驅動體系的理念不同，火山引擎數(shù)據(jù)中臺是從業(yè)務場景出發(fā)，根據(jù)企業(yè)實際應用驅動中臺能力建設，從上往下逐步落地數(shù)據(jù)驅動能力，為企業(yè)客戶構建敏捷的數(shù)智引擎。