1、背景

隨著業(yè)務(wù)應(yīng)用的推陳出新和用戶規(guī)模的不斷增長(zhǎng)，網(wǎng)絡(luò)呈現(xiàn)出“高速率、大規(guī)模、多接入、不可預(yù)期”的特點(diǎn)。傳統(tǒng)網(wǎng)絡(luò)管控方式和手段已經(jīng)難以解決現(xiàn)有網(wǎng)絡(luò)和未來網(wǎng)絡(luò)的挑戰(zhàn)。

[[311748]]

因此，網(wǎng)絡(luò)管理者迫切需要顛覆傳統(tǒng)網(wǎng)絡(luò)監(jiān)測(cè)及故障排除方法，提出能夠應(yīng)對(duì)網(wǎng)絡(luò)狀態(tài)測(cè)量、網(wǎng)絡(luò)失效檢測(cè)、故障定位與恢復(fù)等場(chǎng)景用例的實(shí)時(shí)靈活的測(cè)量解決方案。

P4開創(chuàng)了數(shù)據(jù)平面可編程的新時(shí)代，這為網(wǎng)絡(luò)管控提供了從數(shù)據(jù)平面直接獲取狀態(tài)信息的嶄新途徑。數(shù)據(jù)平面可編程技術(shù)的平臺(tái)無關(guān)、協(xié)議無關(guān)和可重構(gòu)性使網(wǎng)絡(luò)管理者可以重塑網(wǎng)絡(luò)測(cè)量及網(wǎng)絡(luò)管控流程。

[[311749]]

圖1 Nick McKeown 教授于2014 年首次設(shè)計(jì)并提出了數(shù)據(jù)平面特定領(lǐng)域編程語言P4

2、傳統(tǒng)網(wǎng)絡(luò)測(cè)量

網(wǎng)絡(luò)測(cè)量是網(wǎng)絡(luò)管控的基礎(chǔ)手段和數(shù)據(jù)來源。按照測(cè)量方式的不同，傳統(tǒng)意義上的網(wǎng)絡(luò)測(cè)量(Network Measurement)可以分為主動(dòng)測(cè)量(Active Measurement)、被動(dòng)測(cè)量(Passive Measurement)和混合測(cè)量(Hybrid Measurement)。

主動(dòng)測(cè)量通過向網(wǎng)絡(luò)中主動(dòng)發(fā)送探測(cè)分組，并根據(jù)探測(cè)分組受網(wǎng)絡(luò)影響而發(fā)生的特性變化來分析網(wǎng)絡(luò)行為。被測(cè)量的網(wǎng)絡(luò)性能指標(biāo)通常是丟包率、延遲、抖動(dòng)、TTL和帶寬等。常見的主動(dòng)測(cè)量協(xié)議包括PING、Traceroute、IP測(cè)量協(xié)議(IP Measurement Protocol，IPMP)、單向主動(dòng)測(cè)量協(xié)議(One-Way Active Measurement Protocol，OWAMP)、雙向主動(dòng)測(cè)量協(xié)議(Two-Way Active Measurement Protocol，TWAMP)、MPLS丟包/延遲測(cè)量協(xié)議(MPLS L/DM Protocol)等。

主動(dòng)測(cè)量的優(yōu)點(diǎn)是使用靈活，缺點(diǎn)是給網(wǎng)絡(luò)增加額外帶寬/處理開銷，往往會(huì)引起海森堡效應(yīng)(Heisenberg effect)，即觀察者的介入干擾測(cè)量結(jié)果。

被動(dòng)測(cè)量通過捕獲流經(jīng)測(cè)量點(diǎn)的分組來測(cè)量網(wǎng)絡(luò)狀態(tài)、流量特征和性能參數(shù)。被動(dòng)測(cè)量使用控制平面消息即可監(jiān)測(cè)網(wǎng)絡(luò)流量狀態(tài)性能，被監(jiān)測(cè)的性能指標(biāo)通常是包/字節(jié)統(tǒng)計(jì)值、協(xié)議類型、隊(duì)列長(zhǎng)度和延遲統(tǒng)計(jì)信息。常見的被動(dòng)測(cè)量協(xié)議有網(wǎng)絡(luò)數(shù)據(jù)流統(tǒng)計(jì)協(xié)議(Cisco Netflow)、sFlow、IP流量信息輸出協(xié)議(IPFIX)、數(shù)據(jù)包采樣協(xié)議(PSAMP)。

被動(dòng)測(cè)量不會(huì)產(chǎn)生額外的測(cè)量負(fù)載，因此不會(huì)影響網(wǎng)絡(luò)本身特性。但被動(dòng)測(cè)量往往只能監(jiān)測(cè)交換節(jié)點(diǎn)本地狀態(tài)信息，而不能監(jiān)測(cè)網(wǎng)絡(luò)狀態(tài)和丟包率等全局狀態(tài)信息。

混合測(cè)量通過靈活組合主/被動(dòng)測(cè)量方法，或結(jié)合主/被動(dòng)測(cè)量?jī)?yōu)點(diǎn)重新設(shè)計(jì)測(cè)量機(jī)制的方式，對(duì)網(wǎng)絡(luò)進(jìn)行協(xié)同測(cè)量。典型代表有反應(yīng)式測(cè)量(Reactive Measurement)、帶內(nèi)測(cè)量(In-band Measurement)和交替標(biāo)記性能測(cè)量(Alternate Marking-Performance Measurement，AM-PM)。

表1 網(wǎng)絡(luò)測(cè)量方案及其分類

帶內(nèi)測(cè)量是近幾年興起的一種混合測(cè)量方法，通過路徑中間交換節(jié)點(diǎn)對(duì)數(shù)據(jù)包依次插入元數(shù)據(jù)(Measure metadata)的方式完成網(wǎng)絡(luò)狀態(tài)采集。相較于傳統(tǒng)網(wǎng)絡(luò)測(cè)量方案，帶內(nèi)測(cè)量能夠?qū)W(wǎng)絡(luò)拓?fù)?、網(wǎng)絡(luò)性能和網(wǎng)絡(luò)流量實(shí)現(xiàn)更細(xì)粒度的測(cè)量。目前，帶內(nèi)測(cè)量的研究方向主要為IETF IPPM工作組[1]和OPSA工作組主導(dǎo)的帶內(nèi)OAM(In-situ Operation Administration and Maintenance，IOAM)和P4聯(lián)盟主導(dǎo)的帶內(nèi)網(wǎng)絡(luò)遙測(cè)(In-band Network Telemetry，INT)。

3、帶內(nèi)網(wǎng)絡(luò)遙測(cè)

帶內(nèi)網(wǎng)絡(luò)遙測(cè)由Barefoot、Arista、Dell、Intel和VMware于2015年共同提出[2]，是一種不需要網(wǎng)絡(luò)控制平面干預(yù)，網(wǎng)絡(luò)數(shù)據(jù)平面收集和報(bào)告網(wǎng)絡(luò)狀態(tài)的框架。在帶內(nèi)網(wǎng)絡(luò)遙測(cè)架構(gòu)中，交換設(shè)備轉(zhuǎn)發(fā)處理攜帶遙測(cè)指令(Telemetry instructions)的數(shù)據(jù)包。當(dāng)遙測(cè)數(shù)據(jù)包經(jīng)過該設(shè)備時(shí)，這些遙測(cè)指令告訴具備網(wǎng)絡(luò)遙測(cè)功能的網(wǎng)絡(luò)設(shè)備應(yīng)該收集并寫入何種網(wǎng)絡(luò)狀態(tài)信息。

如圖2所示，帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)由遙測(cè)服務(wù)器和具備帶內(nèi)網(wǎng)絡(luò)遙測(cè)功能的交換機(jī)組成。根據(jù)實(shí)際遙測(cè)任務(wù)的需要，該系統(tǒng)還可能需要時(shí)間同步服務(wù)器等設(shè)備完成輔助工作。

帶內(nèi)網(wǎng)絡(luò)遙測(cè)的數(shù)據(jù)包處理流程如下：1.普通數(shù)據(jù)報(bào)文到達(dá)帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)的第一個(gè)交換節(jié)點(diǎn)時(shí)，帶內(nèi)網(wǎng)絡(luò)遙測(cè)模塊通過 在交換機(jī)上設(shè)置的采樣方式匹配并鏡像出該報(bào)文，根據(jù)遙測(cè)任務(wù)的需要在四層頭部后插入INT頭部，將INT頭部所指定的遙測(cè)信息封裝成元數(shù)據(jù)(MetaData，MD)插入到INT頭部之后;2.報(bào)文轉(zhuǎn)發(fā)到中間節(jié)點(diǎn)時(shí)，設(shè)備匹配INT頭部后插入MD;3.報(bào)文轉(zhuǎn)發(fā)到帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)最后一跳時(shí)，交換設(shè)備匹配INT頭部插入最后一個(gè)MD并提取全部遙測(cè)信息并通過gRPC等方式轉(zhuǎn)發(fā)到遙測(cè)服務(wù)器。4.遙測(cè)服務(wù)器解析遙測(cè)報(bào)文內(nèi)的遙測(cè)信息，上報(bào)給上層遙測(cè)應(yīng)用程序。

圖2 帶內(nèi)網(wǎng)絡(luò)遙測(cè)工作流程

既有方案一：P4-based INT

基于P4實(shí)現(xiàn)的帶內(nèi)網(wǎng)絡(luò)遙測(cè)(P4-based INT)是最早的帶內(nèi)網(wǎng)絡(luò)遙測(cè)實(shí)現(xiàn)方案[3]。P4-based INT包括兩種實(shí)體：INT traffic sources和INT traffic sinks。INT traffic sources負(fù)責(zé)將遙測(cè)指令嵌入到正常數(shù)據(jù)包或遙測(cè)數(shù)據(jù)包中。INT traffic sinks對(duì)遙測(cè)結(jié)果進(jìn)行提取和上報(bào)。INT traffic sources和INT traffic sinks可以是應(yīng)用、終端網(wǎng)絡(luò)協(xié)議棧、網(wǎng)管程序、NIC、發(fā)送側(cè)/接收側(cè)ToR交換機(jī)等。

表2 帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)術(shù)語及其說明

隨著逐跳增加INT元數(shù)據(jù)，遙測(cè)數(shù)據(jù)包大小逐漸增加，這可能導(dǎo)致數(shù)據(jù)包大小超過鏈路MTU值。P4-based INT給出了兩種解決方案：(1)根據(jù)INT跳數(shù)及逐跳元數(shù)據(jù)長(zhǎng)度適當(dāng)增大鏈路MTU配置值;(2)根據(jù)三層路徑MTU發(fā)現(xiàn)機(jī)制確定逐跳鏈路MTU，中間節(jié)點(diǎn)根據(jù)遙測(cè)數(shù)據(jù)包長(zhǎng)度選擇是否插入遙測(cè)數(shù)據(jù)。

既有方案二：INT in 6TiSCH

Abdulkadir Karaagac等人將帶內(nèi)網(wǎng)絡(luò)遙測(cè)從有線網(wǎng)絡(luò)拓展到無線網(wǎng)絡(luò)場(chǎng)景中[4]，針對(duì)工業(yè)無線傳感器網(wǎng)絡(luò)提出了一種帶內(nèi)網(wǎng)絡(luò)遙測(cè)方案INT in 6TiSCH。該方案以最小化資源消耗和通信開銷作為設(shè)計(jì)目標(biāo)，能夠處理6TiSCH網(wǎng)絡(luò)功能異常監(jiān)測(cè)、擁塞控制、集中路由和調(diào)度管理等場(chǎng)景和用例。

INT in 6TiSCH在IEEE 802.15.4 MAC幀中Information Elements(IEs)字段插入遙測(cè)數(shù)據(jù)。遙測(cè)報(bào)文由三部分組成：IEs Subtype ID、INT Header及INT Content。

其中，INT Header由三部分組成：INT Control header(8 bits)、Sequence Number(8 bits)及Bitmap(8 bits)。INT Control header用于定義遙測(cè)模式及遙測(cè)功能。Sequence Number用于區(qū)分來自同一節(jié)點(diǎn)的不同INT遙測(cè)數(shù)據(jù)。Bitmap中每個(gè)bit位代表一種預(yù)定義的遙測(cè)數(shù)據(jù)。

圖3 INT in 6TiSCH中插入的INT報(bào)文格式

值得注意的是，INT Control header中的HBH Mode(2 bits)定義了三種遙測(cè)模式，當(dāng)Mode=00時(shí)，中間節(jié)點(diǎn)全部遙測(cè);當(dāng)Mode=10時(shí)，中間節(jié)點(diǎn)將隨機(jī)添加遙測(cè)數(shù)據(jù);當(dāng)Mode=01時(shí)，中間節(jié)點(diǎn)根據(jù)上一次添加遙測(cè)數(shù)據(jù)的時(shí)間、轉(zhuǎn)發(fā)幀長(zhǎng)度及剩余跳數(shù)計(jì)算概率值，并依據(jù)概率值進(jìn)行遙測(cè)數(shù)據(jù)添加。HBH Mode在一定程度上能夠降低帶內(nèi)網(wǎng)絡(luò)遙測(cè)的帶寬開銷。

Bitmap Mode定義了兩種位圖模式：內(nèi)容位圖(Content Bitmap)和節(jié)點(diǎn)位圖(Node Bitmap)。內(nèi)容位圖模式下，中間節(jié)點(diǎn)將依據(jù)Bitmap字段的遙測(cè)組合進(jìn)行遙測(cè)數(shù)據(jù)的添加。節(jié)點(diǎn)位圖模式下，中間節(jié)點(diǎn)允許自行添加位圖及INT數(shù)據(jù)。

INT in 6TiSCH定義的遙測(cè)數(shù)據(jù)模型包括：Node ID(2 Byte)、Receive Channel & Timestamp(2 Byte)、Utilization indicator(1 Byte)、RSSI(1 Byte)及其他保留信息類型。

既有方案三：NetVision

Zhengzheng Liu等人提出了網(wǎng)絡(luò)遙測(cè)即服務(wù)的概念[5]，并設(shè)計(jì)了帶內(nèi)網(wǎng)絡(luò)遙測(cè)平臺(tái)NetVision。NetVision主動(dòng)發(fā)送與網(wǎng)絡(luò)狀態(tài)和遙測(cè)任務(wù)相匹配的適當(dāng)數(shù)量和格式的探針數(shù)據(jù)包，降低了遙測(cè)開銷，提高了網(wǎng)絡(luò)遙測(cè)的覆蓋性和可擴(kuò)展性。在路徑規(guī)劃方面，NetVision采用段路由進(jìn)行簡(jiǎn)單靈活的路由控制，通過更改SR標(biāo)簽的方式定制探測(cè)路徑。

為了降低網(wǎng)絡(luò)管理員部署帶內(nèi)網(wǎng)絡(luò)遙測(cè)的難度，NetVision設(shè)計(jì)了一套包括遙測(cè)元數(shù)據(jù)和查詢?cè)Z在內(nèi)的遙測(cè)原語，并封裝為遙測(cè)服務(wù)API，可以對(duì)外提供端到端延遲測(cè)量、實(shí)時(shí)包傳輸速率計(jì)算、鏈路/節(jié)點(diǎn)包黑洞發(fā)現(xiàn)等功能。

圖4 NetVision架構(gòu)及處理流程

NetVision探針為“SR+INT”雙棧結(jié)構(gòu)，SR Stack包括SR列表長(zhǎng)度和輸出端口標(biāo)簽，INT Stack包括標(biāo)簽列表長(zhǎng)度和遙測(cè)標(biāo)簽列表。路由器通過彈出SR標(biāo)簽并放入INT標(biāo)簽完成一次遙測(cè)轉(zhuǎn)發(fā)。

圖5 NetVision探針封裝格式

既有方案四：INTCollector

INTCollector是一種針對(duì)帶內(nèi)網(wǎng)絡(luò)遙測(cè)計(jì)算及數(shù)據(jù)存儲(chǔ)開銷大的問題而設(shè)計(jì)的從帶內(nèi)網(wǎng)絡(luò)遙測(cè)原始數(shù)據(jù)中提取并過濾重要網(wǎng)絡(luò)信息的機(jī)制[6]。INTCollector只過濾諸如新流到達(dá)或逐跳延遲劇烈變化等重要網(wǎng)絡(luò)事件，并將重要網(wǎng)絡(luò)時(shí)間存儲(chǔ)在時(shí)間序列數(shù)據(jù)庫中，從而降低CPU使用率和存儲(chǔ)成本。INTCollector為INT信息處理設(shè)計(jì)了快慢兩條通道，快通道用于處理INT報(bào)告數(shù)據(jù)包，慢通道用于處理重要事件并將其存儲(chǔ)到數(shù)據(jù)庫中。實(shí)驗(yàn)結(jié)果表明，INTCollector機(jī)制可以將帶內(nèi)網(wǎng)絡(luò)遙測(cè)存儲(chǔ)數(shù)據(jù)量減少2-3個(gè)數(shù)量級(jí)，并降低遙測(cè)服務(wù)器負(fù)載。

綜上所述，帶內(nèi)網(wǎng)絡(luò)遙測(cè)是一種隨路測(cè)量方案。因此，帶內(nèi)網(wǎng)絡(luò)遙測(cè)存在一些固有的缺點(diǎn)。首先，帶內(nèi)網(wǎng)絡(luò)遙測(cè)檢測(cè)范圍有限，預(yù)先定義的隨路檢測(cè)特性使得帶內(nèi)網(wǎng)絡(luò)遙測(cè)往往無法及時(shí)獲得全網(wǎng)全狀態(tài)的網(wǎng)絡(luò)視圖。因此帶內(nèi)網(wǎng)絡(luò)遙測(cè)只能監(jiān)測(cè)特定路徑上的某些數(shù)據(jù)包的遙測(cè)數(shù)據(jù)。其次，由于將遙測(cè)指令和數(shù)據(jù)封裝到正常數(shù)據(jù)包中，正常數(shù)據(jù)包的有效載荷比降低，遙測(cè)開銷較大。最后，遙測(cè)指令和數(shù)據(jù)的構(gòu)造、封裝、填充和提取等環(huán)境增加了交換機(jī)處理負(fù)擔(dān)。

值得注意的是，與帶內(nèi)網(wǎng)絡(luò)遙測(cè)相對(duì)應(yīng)的是帶外網(wǎng)絡(luò)遙測(cè)(Out-band Network Telemetry，ONT)。帶外網(wǎng)絡(luò)遙測(cè)通過監(jiān)控設(shè)備單獨(dú)發(fā)送探測(cè)報(bào)文，收集鏈路狀態(tài)信息。探測(cè)報(bào)文與網(wǎng)絡(luò)業(yè)務(wù)無關(guān)，因此測(cè)量結(jié)果并不準(zhǔn)確。帶外網(wǎng)絡(luò)遙測(cè)與帶內(nèi)網(wǎng)絡(luò)遙測(cè)的遙測(cè)數(shù)據(jù)包生成、接收處理流程不同，對(duì)網(wǎng)絡(luò)本身產(chǎn)生的影響和測(cè)量精度也不相同。嚴(yán)格來說，帶外網(wǎng)絡(luò)遙測(cè)應(yīng)屬于主動(dòng)遙測(cè)的范疇。

傳統(tǒng)網(wǎng)絡(luò)測(cè)量技術(shù)因其靜態(tài)、低效、開銷大等缺陷，在網(wǎng)絡(luò)狀態(tài)監(jiān)測(cè)與管理上存在精度和時(shí)效性等性能問題。因此，帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)亟需解決以下幾個(gè)技術(shù)需求：

• 性能

帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)應(yīng)能根據(jù)遙測(cè)需求，快速生成并下發(fā)遙測(cè)方案，上報(bào)網(wǎng)絡(luò)狀態(tài)信息。

• 可拓展性

帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)應(yīng)能夠應(yīng)對(duì)未來網(wǎng)絡(luò)異質(zhì)化和高速化挑戰(zhàn)，滿足各類服務(wù)的遙測(cè)需求。

• 輕量級(jí)

有限的網(wǎng)絡(luò)資源導(dǎo)致網(wǎng)絡(luò)帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)必須是輕量級(jí)的，以減少資源消耗和通信開銷。

• 魯棒性

網(wǎng)絡(luò)遙測(cè)系統(tǒng)應(yīng)該能夠應(yīng)對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)或鏈路故障，不依賴于特定的遙測(cè)服務(wù)器或網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行部署，并且能夠適應(yīng)網(wǎng)絡(luò)狀態(tài)頻繁變化。

• 安全性

對(duì)用戶數(shù)據(jù)包的遙測(cè)操作可能伴隨著用戶隱私泄露和安全風(fēng)險(xiǎn)問題。因此，帶內(nèi)網(wǎng)絡(luò)遙測(cè)需要研究如何通過技術(shù)手段減少對(duì)用戶數(shù)據(jù)的影響。

4、帶內(nèi)網(wǎng)絡(luò)遙測(cè)應(yīng)用

帶內(nèi)網(wǎng)絡(luò)遙測(cè)技術(shù)的應(yīng)用范圍已經(jīng)從最初的網(wǎng)絡(luò)運(yùn)維可視化、故障定位拓展到了網(wǎng)絡(luò)測(cè)量、擁塞控制、路徑?jīng)Q策、流量工程和網(wǎng)絡(luò)數(shù)據(jù)平面驗(yàn)證等領(lǐng)域。

4.1網(wǎng)絡(luò)測(cè)量

為了滿足網(wǎng)絡(luò)運(yùn)行、維護(hù)和安全的需要，控制平面需要實(shí)時(shí)獲取網(wǎng)絡(luò)流量狀態(tài)。網(wǎng)絡(luò)查詢成為日漸興起的研究領(lǐng)域。常見的網(wǎng)絡(luò)查詢包括：大小流檢測(cè)、異常流量檢測(cè)等。帶內(nèi)網(wǎng)絡(luò)遙測(cè)可以收集統(tǒng)計(jì)的網(wǎng)絡(luò)狀態(tài)信息如表3所示。

表3 帶內(nèi)網(wǎng)絡(luò)遙測(cè)統(tǒng)計(jì)信息分類

現(xiàn)有遙測(cè)系統(tǒng)可以實(shí)時(shí)收集和分析測(cè)量數(shù)據(jù)，但存在兩個(gè)普遍問題：(1)僅支持單一遙測(cè)任務(wù);(2)處理和存儲(chǔ)開銷隨流量及查詢量增加而增大。

學(xué)術(shù)界的研究人員也關(guān)注到了上面的問題，Arpit Gupta等人針對(duì)遙測(cè)提供了一個(gè)聲明式接口，可以滿足11種遙測(cè)任務(wù)的查詢需求[7]。這11種遙測(cè)任務(wù)包括：TCP新建連接查詢、Slowloris DOS攻擊查詢、Zorro Attacks查詢、SSH暴力破解攻擊查詢、Superspreader、端口掃描查詢、DDoS攻擊查詢、TCP SYN Flood攻擊查詢、TCP Incomplete Flows查詢、DNS Tunneling檢測(cè)查詢、DNS反向攻擊查詢。

網(wǎng)絡(luò)狀態(tài)測(cè)量也是帶內(nèi)網(wǎng)絡(luò)遙測(cè)在產(chǎn)業(yè)應(yīng)用方面最為典型的場(chǎng)景。Barefoot 推出的Deep Insight是全球首個(gè)可以運(yùn)行在商業(yè)級(jí)服務(wù)器上的提供逐包狀態(tài)監(jiān)測(cè)的網(wǎng)絡(luò)系統(tǒng)，能夠?qū)崟r(shí)解釋、分析和定位數(shù)據(jù)包延遲發(fā)生的原因和位置[8]。結(jié)合機(jī)器學(xué)習(xí)技術(shù)，Barefoot Deep Insight可以在納秒級(jí)分辨率上實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)性能的有狀態(tài)自動(dòng)化異常監(jiān)測(cè)。

圖6 DeepInsight的口號(hào)便是納秒級(jí)逐數(shù)據(jù)包洞察

4.2微突發(fā)檢測(cè)

微突發(fā)(Microbursts)是指端口在非常短的時(shí)間(毫秒級(jí)別)內(nèi)收到非常多的突發(fā)數(shù)據(jù)，以至于瞬時(shí)突發(fā)速率達(dá)到平均速率的數(shù)十倍、數(shù)百倍，甚至超過端口帶寬的現(xiàn)象。受限于秒級(jí)流量監(jiān)控周期的技術(shù)局限性，SNMP協(xié)議或網(wǎng)絡(luò)性能檢測(cè)工具很難采集毫秒級(jí)的微突發(fā)流量。帶內(nèi)網(wǎng)絡(luò)遙測(cè)通過在數(shù)據(jù)包轉(zhuǎn)發(fā)時(shí)刻記錄交換機(jī)隊(duì)列長(zhǎng)度的方式便可以輕松檢測(cè)網(wǎng)絡(luò)微突發(fā)程度。

圖7 基于遙測(cè)的微突發(fā)檢測(cè)[9]

4.3故障快照

由于網(wǎng)絡(luò)遙測(cè)通過端口計(jì)數(shù)器、數(shù)據(jù)包采樣和hop-by-hop帶內(nèi)遙測(cè)等方式提取網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，因此會(huì)產(chǎn)生大量的遙測(cè)數(shù)據(jù)。由于這類遙測(cè)數(shù)據(jù)缺乏關(guān)于異常網(wǎng)絡(luò)行為的上下文狀態(tài)和可操作信息，網(wǎng)絡(luò)管理員不得不采用各類狀態(tài)監(jiān)測(cè)工具進(jìn)行長(zhǎng)時(shí)間的巨量數(shù)據(jù)分析，才能找到網(wǎng)絡(luò)問題的根本原因。針對(duì)這一問題，Mellanox提出故障快照 (What Just Happened，WJH)技術(shù)[10]。

[[311751]]

圖8 故障快照 (What Just Happened，WJH)

故障快照技術(shù)利用Mellanox Spectrum™和Spectrum™-2以太網(wǎng)交換機(jī)芯片，以T-比特級(jí)別的速率檢測(cè)所有端口上的數(shù)據(jù)包，然后識(shí)別異常行為，并將其整合為簡(jiǎn)潔、具體且可操作的數(shù)據(jù)，從而簡(jiǎn)化網(wǎng)絡(luò)故障排除和快速恢復(fù)。

4.4擁塞控制

網(wǎng)絡(luò)源端可以利用帶內(nèi)網(wǎng)絡(luò)遙測(cè)提供的豐富的網(wǎng)絡(luò)狀態(tài)信息進(jìn)行擁塞避免和控制。

速率控制協(xié)議(Rate Control Protocol，RCP)通過調(diào)整鏈路容量分配進(jìn)行擁塞控制。網(wǎng)絡(luò)中的每個(gè)RCP路由器根據(jù)入口鏈路利用率、平均隊(duì)列長(zhǎng)度、流平均RTT等網(wǎng)絡(luò)狀態(tài)參數(shù)周期性計(jì)算每條鏈路上的公平共享速率(Fair-share rate)。

RCP*是在RCP基礎(chǔ)上設(shè)計(jì)的針對(duì)個(gè)流狀態(tài)統(tǒng)計(jì)的擁塞控制方案。RCP*在終端主機(jī)上針對(duì)每個(gè)流部署速率限制器和速率控制器。網(wǎng)絡(luò)控制平面為每個(gè)流分配AppSpecific_0和AppSpecific_1兩個(gè)內(nèi)存地址存儲(chǔ)公平速率。其中，AppSpecific_0儲(chǔ)存當(dāng)前公平速率版本號(hào)，AppSpecific_1存儲(chǔ)真正的公平速率。每個(gè)流的速率控制器周期性通過“收集-計(jì)算-更新”三個(gè)階段查詢和更新網(wǎng)絡(luò)狀態(tài)。

在收集階段，速率控制器以毫秒為周期統(tǒng)計(jì)逐跳交換機(jī)ID、隊(duì)列長(zhǎng)度、鏈路利用率和鏈路公平共享率(即AppSpecific_0值和AppSpecific_1值)。

在計(jì)算階段，發(fā)送方速率控制器根據(jù)收集信息計(jì)算延路每條鏈路的平均隊(duì)列長(zhǎng)度，然后使用RCP擁塞控制算法計(jì)算每條鏈路的公平共享速率R_link。

在更新階段，每個(gè)流的速率控制器異步更新所有鏈路上的公平共享速率。

由于RCP*在每個(gè)RTT周期內(nèi)發(fā)送一次公平速率調(diào)整遙測(cè)數(shù)據(jù)包，因此RCP*的開銷與TCP相似。值得注意的是，RCP*的CSTORE指令在遙測(cè)基礎(chǔ)上增加了向交換機(jī)“寫數(shù)據(jù)”的操作，開辟了一種新的擁塞控制方案。

4.5路由決策

網(wǎng)絡(luò)遙測(cè)為路由決策提供了除網(wǎng)絡(luò)連接、網(wǎng)絡(luò)跳數(shù)以外的更多、更詳細(xì)的網(wǎng)絡(luò)狀態(tài)參數(shù)，例如鏈路時(shí)延、丟包率、網(wǎng)絡(luò)擁塞情況和鏈路利用率等。因此，基于這些網(wǎng)絡(luò)狀態(tài)參數(shù)，結(jié)合Segement Route等新型路由方式，網(wǎng)絡(luò)節(jié)點(diǎn)可以制定個(gè)性化的性能路由。

4.6流量工程

在運(yùn)行多路徑路由協(xié)議的數(shù)據(jù)中心網(wǎng)絡(luò)中，終端主機(jī)允許根據(jù)數(shù)據(jù)包頭部值選擇路由路徑。以VLAN標(biāo)簽為例，終端主機(jī)通過改變VLAN ID值選擇不同的轉(zhuǎn)發(fā)路徑。

Vimalkumar Jeyakumar等人在設(shè)計(jì)了一種基于帶內(nèi)網(wǎng)絡(luò)遙測(cè)的負(fù)載均衡方案[11]。終端主機(jī)在其發(fā)出的數(shù)據(jù)包中插入由路徑VLAN ID、鏈路利用率TX-Utilization、鏈路發(fā)送字節(jié)數(shù)TX-Bytes構(gòu)成的遙測(cè)指令。其中，設(shè)置鏈路發(fā)送字節(jié)數(shù)字段的目的是在鏈路利用率沒有更新的情況下評(píng)估路徑擁塞程度。

接收方在收到遙測(cè)數(shù)據(jù)包后回傳給發(fā)送方。發(fā)送方根據(jù)遙測(cè)字段信息構(gòu)建“路徑-擁塞程度”的映射表。其中擁塞程度可以用逐跳鏈路利用率最大值或總和表示。發(fā)送方根據(jù)擁塞程度映射表選擇合適路徑進(jìn)行轉(zhuǎn)發(fā)。

4.7網(wǎng)絡(luò)智慧化

限制網(wǎng)絡(luò)智慧化部署的瓶頸除了算力算法問題，實(shí)時(shí)數(shù)據(jù)供給也是一大挑戰(zhàn)。而帶內(nèi)網(wǎng)絡(luò)遙測(cè)恰恰能夠?yàn)榫W(wǎng)絡(luò)智慧化方案的部署提供源源不斷的實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)。

5、未來展望

帶內(nèi)網(wǎng)絡(luò)遙測(cè)已經(jīng)得到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。學(xué)術(shù)界更加關(guān)注帶內(nèi)網(wǎng)絡(luò)遙測(cè)能否給網(wǎng)絡(luò)閉環(huán)控制帶來新的解決思路，產(chǎn)業(yè)界已經(jīng)有成熟的網(wǎng)絡(luò)監(jiān)管產(chǎn)品問世。帶內(nèi)網(wǎng)絡(luò)遙測(cè)技術(shù)方興未艾，但也面臨著一些挑戰(zhàn)。

5.1通用遙測(cè)模型

帶內(nèi)網(wǎng)絡(luò)遙測(cè)具有數(shù)據(jù)平面可編程、隨路測(cè)量、可重配置等特點(diǎn)。如何利用這些特點(diǎn)破解傳統(tǒng)測(cè)量無法被普遍適用的局面，對(duì)完善網(wǎng)絡(luò)遙測(cè)研究具有重要意義。目前學(xué)術(shù)界和產(chǎn)業(yè)界缺乏針對(duì)一體化融合網(wǎng)絡(luò)互聯(lián)互通場(chǎng)景的通用遙測(cè)模型的研究。利用可編程數(shù)據(jù)平面的靈活性和可擴(kuò)展性針對(duì)異構(gòu)網(wǎng)絡(luò)特性設(shè)計(jì)隨路遙測(cè)方案，形成統(tǒng)一網(wǎng)絡(luò)狀態(tài)視圖成為帶內(nèi)網(wǎng)絡(luò)遙測(cè)技術(shù)的潛在應(yīng)用場(chǎng)景。

5.2性能損失評(píng)估

帶內(nèi)網(wǎng)絡(luò)遙測(cè)可以插入數(shù)據(jù)包中的遙測(cè)元數(shù)據(jù)數(shù)量受數(shù)據(jù)包原始大小及網(wǎng)絡(luò)最大傳輸單元(MTU)的限制。這也意味著帶內(nèi)網(wǎng)絡(luò)遙測(cè)侵占部分網(wǎng)絡(luò)帶寬。除此之外，帶內(nèi)網(wǎng)絡(luò)遙測(cè)支持VXLAN-GPE、Geneve、NSH、TCP和UDP等多種封裝協(xié)議。這些封裝協(xié)議大多包含頭部校驗(yàn)過程。因此，元測(cè)量數(shù)據(jù)的插入需要更新校驗(yàn)和字段，這將會(huì)增加交換機(jī)的處理開銷。目前，學(xué)術(shù)界缺少關(guān)于帶內(nèi)網(wǎng)絡(luò)遙測(cè)對(duì)網(wǎng)絡(luò)性能損失產(chǎn)生的影響評(píng)估研究。

5.3個(gè)流數(shù)據(jù)分析

相較于其他測(cè)量方案，帶內(nèi)網(wǎng)絡(luò)遙測(cè)可以捕捉更為詳盡的個(gè)流網(wǎng)絡(luò)狀態(tài)信息(如網(wǎng)絡(luò)流逐跳延遲、逐跳緩存大小、多路徑傳輸?shù)淖勇窂教匦缘?。這些個(gè)流網(wǎng)絡(luò)狀態(tài)信息的是傳統(tǒng)測(cè)量方案無法獲取或未曾研究的。如何針對(duì)個(gè)流建立準(zhǔn)確的統(tǒng)計(jì)分析模型(如時(shí)間序列分析、回歸分析、關(guān)聯(lián)分析等)并基于這些模型設(shè)計(jì)部署網(wǎng)絡(luò)管理、優(yōu)化方案成為未來帶內(nèi)網(wǎng)絡(luò)遙測(cè)研究的重要任務(wù)。

5.4遙測(cè)數(shù)據(jù)聚合

首先，帶內(nèi)網(wǎng)絡(luò)遙測(cè)可能會(huì)產(chǎn)生大量遙測(cè)數(shù)據(jù)，除了占據(jù)網(wǎng)絡(luò)帶寬以外，還加重了服務(wù)器數(shù)據(jù)收集、存儲(chǔ)和分析負(fù)擔(dān)。假如網(wǎng)絡(luò)所有節(jié)點(diǎn)轉(zhuǎn)發(fā)的所有流量都進(jìn)行帶內(nèi)網(wǎng)絡(luò)遙測(cè)，一個(gè)節(jié)點(diǎn)將為每個(gè)數(shù)據(jù)包添加幾十個(gè)字節(jié)的遙測(cè)數(shù)據(jù)，數(shù)據(jù)包在整個(gè)轉(zhuǎn)發(fā)路徑可能會(huì)累計(jì)大量跟蹤數(shù)據(jù)，這些累計(jì)跟蹤數(shù)據(jù)甚至可能會(huì)超過原始數(shù)據(jù)包的大小。數(shù)據(jù)平面匯聚產(chǎn)生的遙測(cè)數(shù)據(jù)量與遙測(cè)元數(shù)據(jù)量、流量規(guī)模、網(wǎng)絡(luò)規(guī)模等有關(guān)。遙測(cè)服務(wù)器如何處理規(guī)模龐大的遙測(cè)數(shù)據(jù)是遙測(cè)系統(tǒng)性能衡量的關(guān)鍵環(huán)節(jié)。因此，遙測(cè)終點(diǎn)在匯報(bào)遙測(cè)數(shù)據(jù)時(shí)，應(yīng)考慮對(duì)遙測(cè)數(shù)據(jù)進(jìn)行預(yù)先壓縮、篩選和聚合處理，以減少遙測(cè)服務(wù)器壓力。

其次，現(xiàn)有狀態(tài)采集字段只能存放一些必不可少的有限數(shù)據(jù)。隨著網(wǎng)絡(luò)自動(dòng)化技術(shù)、虛擬化技術(shù)、網(wǎng)絡(luò)融合、分組光纖融合的發(fā)展趨勢(shì)，帶內(nèi)網(wǎng)絡(luò)遙測(cè)要按需并可交互地采集并提供更多網(wǎng)絡(luò)數(shù)據(jù)。因此，未來帶內(nèi)網(wǎng)絡(luò)遙測(cè)技術(shù)的研究需要充分考慮數(shù)據(jù)字段的定義、聚合、獲取和過濾的靈活性和可擴(kuò)展性。

最后，現(xiàn)有遙測(cè)原語(primitives)和模型過于復(fù)雜，帶內(nèi)網(wǎng)絡(luò)遙測(cè)需要對(duì)遙測(cè)數(shù)據(jù)(如節(jié)點(diǎn)、鏈路、端口、路徑、流、時(shí)間戳等)查詢?cè)Z進(jìn)行簡(jiǎn)化。

5.5遙測(cè)安全風(fēng)險(xiǎn)

帶內(nèi)網(wǎng)絡(luò)遙測(cè)的數(shù)據(jù)平面可編程性導(dǎo)致潛在的軟件漏洞、后門、病毒帶來安全問題。帶內(nèi)網(wǎng)絡(luò)遙測(cè)伴隨著對(duì)網(wǎng)絡(luò)數(shù)據(jù)包的查看、插入、封裝等包級(jí)操作。這些操作給用戶信息的保密和安全帶來一定威脅。除此之外，惡意INT Source通過不斷構(gòu)造遙測(cè)數(shù)據(jù)包，侵占網(wǎng)絡(luò)帶寬，消耗中間節(jié)點(diǎn)處理能力，也可能會(huì)造成網(wǎng)絡(luò)可用資源枯竭的情況。因此，帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)中的節(jié)點(diǎn)認(rèn)證與鑒權(quán)方案亟需研究。

6、參考文獻(xiàn)/資料

[1].https://datatracker.ietf.org/wg/ippm/documents/

[2].Kim C, Sivaraman A, Katta N, et al. In-band network telemetry via programmable dataplanes[C]//ACM SIGCOMM. 2015.

[3].https://p4.org/assets/INT-current-spec.pdf

[4].Karaagac A, De Poorter E, Hoebeke J. In-Band Network Telemetry in Industrial Wireless Sensor Networks[J]. IEEE Transactions on Network and Service Management, 2019.

[5].劉爭(zhēng)爭(zhēng), 畢軍, 周禹, et al. 基于P4的主動(dòng)網(wǎng)絡(luò)遙測(cè)機(jī)制[J]. 通信學(xué)報(bào), 2018, 39(S1):168-175.

[6].Tu N V , Hyun J , Kim G Y , et al. INTCollector: A High-performance Collector for In-band Network Telemetry[C]// 2018 14th International Conference on Network and Service Management (CNSM). IEEE Computer Society, 2018.

[7].Gupta A, Harrison R, Canini M, et al. Sonata: Query-driven streaming network telemetry[C]//Proceedings of the 2018 Conference of the ACM Special Interest Group on Data Communication. ACM, 2018: 357-371.

[8].https://barefootnetworks.com/static/app/pdf/DI-UG42-003ea-ProdBrief.pdf

[9].https://support.huawei.com/enterprise/zh/doc/EDOC1100059517/46d2dd1d

[10].https://www.mellanox.com/related-docs/solutions/SB_Mellanox_WJH.pdf

[11].Jeyakumar V, Alizadeh M, Geng Y, et al. Millions of little minions: Using packets for low latency network programming and visibility[C]//ACM SIGCOMM Computer Communication Review. ACM, 2014, 44(4): 3-14.