摘要：本文介紹了HTTPDNS服務從中心遷移至邊緣詳細的落地過程。主要內(nèi)容為：

1. HTTPDNS下沉邊緣實踐遇到的挑戰(zhàn)，包括服務放置、流量調(diào)度
2. HTTPDNS下沉邊緣解決方案
3. 從性能、成本出發(fā)，談談HTTPDNS下沉邊緣后的收益

傳統(tǒng)的DNS流程中，客戶端基于UDP協(xié)議向Local DNS服務器發(fā)送DNS查詢請求，這個過程中會存在緩存刷新不可控、DNS劫持、解析結(jié)果跨網(wǎng)、解析超時等風險，近年來，HTTPDNS解決方案逐漸興起。HTTPDNS是面向多端應用（移動端APP，PC客戶端應用）的域名解析服務，通過使用HTTP或HTTPS協(xié)議替代傳統(tǒng)的UDP協(xié)議，客戶端的域名解析請求直接由HTTPDNS服務器接收和響應，實現(xiàn)了域名防劫持、精準調(diào)度、解析結(jié)果及時生效。

以字節(jié)跳動內(nèi)部業(yè)務為例，如抖音、今日頭條、西瓜視頻和番茄小說等，QPS峰值達千萬級，解析請求量日達萬億次，日常流量極大，為保障業(yè)務穩(wěn)定運行，應用了火山引擎移動解析HTTPDNS（以下簡稱HTTPDNS）為域名提供遞歸DNS服務，支撐起超大解析請求量。

由于HTTPDNS服務全面覆蓋字節(jié)跳動頭部APP，在節(jié)約成本以及性能優(yōu)化上存在強烈訴求，在此背景下HTTPDNS團隊經(jīng)過調(diào)研，決定將HTTPDNS服務從中心遷移至邊緣，以下將從實踐難點、解決方案和收益多個維度分享詳細落地過程。

一、HTTPDNS下沉邊緣實踐挑戰(zhàn)

1.服務放置

由于邊緣計算節(jié)點分散、基礎設施異構(gòu)等原因，邊緣服務放置一度成為下沉邊緣過程中的研究熱點，現(xiàn)有方案在處理邊緣放置問題時，會將其轉(zhuǎn)化為指定場景下資源約束的目標優(yōu)化問題，針對成本、質(zhì)量、流量方向，行業(yè)內(nèi)均有對應研究：

• 針對成本，有研究通過多云的模式進行最小冗余成本建模，來實現(xiàn)資源動態(tài)分配。
• 針對質(zhì)量，有研究通過構(gòu)建服務依賴模型、最佳冗余動態(tài)算法保障可靠性，以及成本和質(zhì)量均衡模型，來實現(xiàn)質(zhì)量保障。
• 針對流量，有研究從流量遷移、設備移動、時空軌跡以及資源預部署等，實現(xiàn)流量穩(wěn)定遷移。

在實際應用過程中，流量及設備遷移特征顯著、邊緣節(jié)點性能差異、穩(wěn)定性波動大等因素，會干擾現(xiàn)有放置問題模型，因此需要進一步探索基于流量特征和邊緣節(jié)點資源質(zhì)量的放置問題。

2.流量調(diào)度

邊緣計算的流量調(diào)度場景主要分為端邊調(diào)度和云邊調(diào)度，部分場景會出現(xiàn)邊邊調(diào)度。不同調(diào)度階段擁有相對成熟的調(diào)度技術，包括基于DNS的端邊調(diào)度、基于BGP ANYCAST的骨干網(wǎng)路由調(diào)度以及云網(wǎng)絡下的云原生流量調(diào)度。

實踐過程中面臨的流量調(diào)度挑戰(zhàn)，主要圍繞著端邊調(diào)度和云邊調(diào)度：

• 端邊調(diào)度挑戰(zhàn)：5G和工業(yè)互聯(lián)網(wǎng)接入的大量異構(gòu)設備，以及設備遷移導致的流量波動，是端邊調(diào)度需要應對的主要挑戰(zhàn)。解決這一問題可借助云邊協(xié)同作業(yè)與全局分布式調(diào)度的策略。然而，實際操作遇到的難題主要在于缺乏精確的調(diào)度手段，并且未能充分利用客戶端與邊緣節(jié)點之間協(xié)同聯(lián)動的潛力。盡管通過實時流量感知配合機器學習進行訓練是一種可行的方法，但這種方案處理的數(shù)據(jù)量巨大，導致應用成本過高，難以滿足現(xiàn)實需求。
• 云邊調(diào)度挑戰(zhàn)：邊緣計算由于其固有特性，在處理大規(guī)模集中式數(shù)據(jù)方面相較于傳統(tǒng)中心化架構(gòu)存在一定局限性。因此，云邊協(xié)同的流量處理和計算模式采納了業(yè)界廣泛認可的計算架構(gòu)，云邊調(diào)度發(fā)揮了云計算與邊緣計算各自的優(yōu)勢，達成數(shù)據(jù)和流量的更高效處理。然而，邊緣計算在資源分配上仍面臨局部不足與全局分散的挑戰(zhàn)。舉例來說，在約束優(yōu)化路由模型中，評價指標有時與實際業(yè)務場景不符，未能充分考慮用戶體驗。此外，行業(yè)內(nèi)某些區(qū)域分層調(diào)度模型在實際應用中遇到了邊緣基礎設施不統(tǒng)一的問題，同時區(qū)域內(nèi)及區(qū)域間的容災問題也尤為突出。

二、HTTPDNS下沉邊緣解決方案

1.可視化評價模型指導服務放置

針對基于流量特征和邊緣節(jié)點資源質(zhì)量的放置問題，在實踐過程方案，HTTPDNS團隊不斷進行嘗試優(yōu)化，最終選擇通過使用全鏈路的撥測和數(shù)據(jù)采集方法，基于實時數(shù)據(jù)驅(qū)動的模式，進行在線的放置算法仿真訓練，形成可視化的評價模型，以指導HTTPDNS服務在邊緣機房的節(jié)點選擇和服務放置?；玖鞒倘缦聢D：

2.接入GTM打造調(diào)度解決方案

針對流量調(diào)度挑戰(zhàn)，由于內(nèi)部服務采用域名（配合兜底策略）的接入方式，接入域名配置DNS智能解析實現(xiàn)用戶就近訪問邊緣接入節(jié)點?？紤]到邊緣接入節(jié)點IP的網(wǎng)絡服務可靠性和質(zhì)量對比IDC機房優(yōu)勢不明顯，因此HTTPDNS團隊最終決定引入云調(diào)度GTM解決調(diào)度問題。

火山引擎云調(diào)度GTM基于解析進行流量調(diào)度，可以實現(xiàn)流量的就近接入（地理位置/性能）、負載均衡。GTM借助分布式、多協(xié)議健康檢查能力來實現(xiàn)故障容災（Failover），諸如“同城容災”、“異地多活”等場景。此外GTM還提供了多云環(huán)境下的流量編排、資源粘合能力，可視化的健康檢查數(shù)據(jù)分析、操作日志等功能幫助排查定位問題，便于日常運維。

重點應用：

• 智能調(diào)度：通過云調(diào)度GTM的「智能調(diào)度-容量優(yōu)先」模式實現(xiàn)基于機房容量的智能調(diào)度，在滿足機房容量的前提下生成全局時延最低的DNS調(diào)度規(guī)則，從而能夠在邊緣節(jié)點割接/故障時實現(xiàn)自動容災；
• 故障容災：支持邊緣節(jié)點通過控制臺、API接口和Agent的方式上報節(jié)點容量等信息，基于節(jié)點的數(shù)據(jù)上報情況和健康檢查探測的情況，云調(diào)度GTM作為策略中心更新和下發(fā)調(diào)度策略，實現(xiàn)邊緣節(jié)點的故障容災。

調(diào)度解決方案優(yōu)勢：

• 建設成本低：部署輕量，架構(gòu)侵入較小，建設成本較低；整體配置和管理簡單；
• 動態(tài)調(diào)度保障性能最優(yōu)：在邊緣多節(jié)點、多機房的場景下，能夠基于性能和容量進行動態(tài)調(diào)度，在確保機房水位低于目標水位的前提下實現(xiàn)全局性能最優(yōu)；
• 支持可視化：支持調(diào)度配置和結(jié)果的可視化展示、健康檢查可視化查詢。

應用火山引擎云調(diào)度GTM來實現(xiàn)容量調(diào)度是一次新的嘗試，在全面接入云調(diào)度GTM之后，對比傳統(tǒng)域名智能解析調(diào)度模式，邊緣節(jié)點容量調(diào)度模式能從性能、容災、成本等方面帶來收益，也驗證了云調(diào)度GTM在方案中不可或缺的重要性。

調(diào)度解決方案收益：

三、更強大的解析調(diào)度，性能提升20%+

實踐過程持續(xù)了六個月時間，在成本優(yōu)化與性能提升方面均取得顯著效果。

1.成本優(yōu)化

總成本優(yōu)化約35%，其中負載均衡資源優(yōu)化約50%，計算資源優(yōu)化約30%，帶寬成本優(yōu)化約70%，且最終實現(xiàn)了邊緣集群總?cè)萘壳f QPS 級別，與中心機房完全互備。

2.性能提升

完成從中心到邊緣的遷移后，火山引擎移動解析HTTPDNS服務性能出現(xiàn)顯著提升，對比同類服務出現(xiàn)顯著優(yōu)勢。

在邊緣服務建設完成后，我們逐步將原中心機房承載的千萬 QPS 級別流量遷移到邊緣服務集群上。根據(jù)實際的性能提升情況， 先后將全國大部分區(qū)域的三大運營商接入流量遷移到邊緣。在這個過程中，我們關注并采集流量的網(wǎng)絡指標變化數(shù)據(jù)，各個區(qū)域均有性能收益，詳見下表：

為了能夠更直觀感受火山引擎移動解析HTTPDNS服務與其他HTTPDNS服務的性能數(shù)據(jù)對比，我們使用國內(nèi)主流的第三方撥測平臺，進行了近千個撥測節(jié)點、覆蓋全國的撥測對比。從撥測結(jié)果可以看出，不論是從地理位置上，還是分運營商討論，火山引擎移動解析HTTPDNS都在首屏時間、建立連接時間、首包時間和內(nèi)容下載時間上表現(xiàn)優(yōu)異，最終實現(xiàn)總下載時間實現(xiàn)領先。

全國：

分運營商:

總結(jié)

整體下沉實踐方案中，HTTPDNS團隊不斷進行新嘗試，探索并應用了基于GTM的反饋式調(diào)度模型，更好地應對了邊緣計算資源局部緊張、全局分散以及穩(wěn)定性抖動頻繁的挑戰(zhàn)，從而弱化邊緣放置問題帶來的資源開銷，并提升流量調(diào)度效率、資源利用率以及降低容災和運維難度。

通過下沉邊緣，HTTPDNS進一步優(yōu)化使用成本，提升服務性能，而此次實踐通過將HTTPDNS服務從中心云架構(gòu)遷移至邊緣云架構(gòu)模式，使邊緣計算在互聯(lián)網(wǎng)傳統(tǒng)業(yè)務場景中得到應用，也是邊緣云云原生的一次工程探索實踐。

本項目應用了火山引擎邊緣計算多個產(chǎn)品服務，不僅使用了邊緣網(wǎng)絡提供的四、七層負載均衡產(chǎn)品，還將HTTPDNS服務全部運行在邊緣容器上，通過彈性公網(wǎng)IP完成邊緣服務的回源以及控制。HTTPDNS聯(lián)動邊緣計算打造的下沉邊緣實踐案例，作為行業(yè)實踐，希望為同行業(yè)提供一些有益參考。

未來，HTTPDNS團隊將持續(xù)探索邊緣計算容器化彈性調(diào)度技術的應用，應對億級接入、千萬QPS流量所帶來的流量遷移、接入抖動問題，并進一步提升設備利用率并節(jié)約成本。