利用DataStream和TrafficPeak實(shí)現(xiàn)大數(shù)據(jù)可觀察性

2025-05-14 18:05:05

本文將概括介紹TrafficPeak可觀察性解決方案，以及為高流量分發(fā)平臺構(gòu)建的，經(jīng)過測試和驗(yàn)證的可觀察性架構(gòu)。

可觀察性工作流對于深入了解應(yīng)用程序的健康狀況、客戶流量和整體性能至關(guān)重要。然而，要實(shí)現(xiàn)真正的可觀察性還面臨一些挑戰(zhàn)，包括海量的流量數(shù)據(jù)、數(shù)據(jù)保留、實(shí)施時間以及各項成本等。

延伸閱讀，點(diǎn)擊鏈接了解 Akamai Cloud Computing

TrafficPeak是一款為Akamai云平臺打造，簡單易用、可快速部署的可觀察性解決方案。TrafficPeak與DataStream配合使用，能以比其他可觀察性平臺最多降低75%的成本攝取、索引、壓縮、存儲和搜索大流量實(shí)時日志數(shù)據(jù)。TrafficPeak為客戶提供了Grafana登錄和自定義儀表盤，客戶可以在其中對數(shù)據(jù)進(jìn)行可視化和搜索并設(shè)置警報。

本文將概括介紹TrafficPeak可觀察性解決方案，以及為高流量分發(fā)平臺構(gòu)建的，經(jīng)過測試和驗(yàn)證的可觀察性架構(gòu)。該解決方案結(jié)合了Akamai基于邊緣的DataStream日志流服務(wù)、SIEM集成，以及建立在Linode云基礎(chǔ)架構(gòu)上的TrafficPeak，從而能為大規(guī)模流量、日志和數(shù)據(jù)保留提供支持。

Akamai云平臺上的TrafficPeak

· TrafficPeak是什么？

TrafficPeak是一個完全托管的可觀察性解決方案，能與DataStream日志流和Akamai Cloud Computing配合使用。TrafficPeak由Akamai管理和托管，使用Linode Compute Instances和Linode Object Storage處理和存儲數(shù)據(jù)。在TrafficPeak的幫助下，客戶可以訪問Grafana界面，該界面帶有預(yù)配置、可定制的儀表板，提供了數(shù)據(jù)可視化和監(jiān)控功能。

· TrafficPeak適合哪些人？

TrafficPeak適合需要為PB級大數(shù)據(jù)提供經(jīng)濟(jì)高效的一體化“交鑰匙”式可觀察性解決方案的Akamai客戶。

應(yīng)對不同挑戰(zhàn)

·降低成本，提高可見性

在實(shí)現(xiàn)標(biāo)準(zhǔn)的數(shù)據(jù)可視化能力同時，將可觀察性成本最多降低75%。

其他可觀察性解決方案通常是為特定應(yīng)用的可觀察性構(gòu)建的，而TrafficPeak是為實(shí)現(xiàn)支持超大數(shù)據(jù)量的CDN級可觀察性構(gòu)建的。TrafficPeak旨在與DataStream合作，從邊緣攝取日志，并使用對象存儲和計算實(shí)例來實(shí)現(xiàn)高效、解耦、無狀態(tài)的架構(gòu)。通過將流量和CDN日志保存在同一平臺上，TrafficPeak能將可觀察性成本最多降低75%。

有了大量數(shù)據(jù)，數(shù)據(jù)報告的標(biāo)準(zhǔn)化就變得更重要。TrafficPeak的Grafana儀表板支持大量用戶訪問，提供了集中的數(shù)據(jù)源。這有助于簡化組織運(yùn)營，并讓使用數(shù)據(jù)的開發(fā)者能夠從同一個地方獲取數(shù)據(jù)。

·海量數(shù)據(jù)和數(shù)據(jù)保留

在與邊緣交付相同的平臺上采用可觀察性解決方案，解決數(shù)據(jù)量和數(shù)據(jù)保留難題。

與海量數(shù)據(jù)相關(guān)的成本和基礎(chǔ)設(shè)施挑戰(zhàn)不勝枚舉，例如：數(shù)據(jù)采集、數(shù)據(jù)存儲和保留、數(shù)據(jù)搜索和效率等。由于TrafficPeak是專為Akamai打造的，因此用戶可將邊緣和可觀察性解決方案整合到一個平臺，從而應(yīng)對這些挑戰(zhàn)。

有了TrafficPeak，日志可使用DataStream從Akamai邊緣直接發(fā)送到Linode計算平臺，無需在Akamai平臺之外傳輸數(shù)據(jù)流量。TrafficPeak通過同時使用計算實(shí)例和對象存儲，將日志的處理與存儲分離，使用高達(dá)25倍的數(shù)據(jù)壓縮，并提供15個月以上的可搜索、可訪問的熱數(shù)據(jù)保留。

·復(fù)雜數(shù)據(jù)類型

通過可視化監(jiān)控和數(shù)據(jù)報告實(shí)現(xiàn)復(fù)雜數(shù)據(jù)類型的可觀察性。

復(fù)雜數(shù)據(jù)（如媒體交付和游戲數(shù)據(jù)）可能面臨更多挑戰(zhàn)：對延遲極端敏感、高數(shù)據(jù)量、受眾洞察力、特定應(yīng)用程序的數(shù)據(jù)類型、數(shù)據(jù)合規(guī)性和安全性等。通過TrafficPeak的可視化監(jiān)控和數(shù)據(jù)報告，用戶可以跟蹤受眾規(guī)模、唯一收視率、SIEM數(shù)據(jù)，以及其他特定受眾數(shù)據(jù)。TrafficPeak還受到Akamai的監(jiān)控（因此無需擔(dān)心擴(kuò)展問題），提供了可配置的警報，并且在使用Akamai Adaptive Media Delivery時還能支持CMCD。

·實(shí)施

能支持海量數(shù)據(jù)的可觀察性解決方案，其實(shí)施往往既費(fèi)時又費(fèi)錢。TrafficPeak為Akamai客戶提供了開箱即用的解決方案，并且可與現(xiàn)有應(yīng)用基礎(chǔ)架構(gòu)配合使用，從而解決了這一問題。

TrafficPeak工作流程示意

以下是一個大流量分發(fā)平臺客戶在Akamai云上實(shí)施的DataStream和TrafficPeak架構(gòu)高級示意圖和流程。

客戶端發(fā)出資產(chǎn)請求、API調(diào)用請求或其他HTTPs請求。該請求會被路由到最近的Akamai邊緣區(qū)域。
如果請求存在緩存響應(yīng)，則由Akamai邊緣服務(wù)器直接返回；否則該請求將回源以獲得響應(yīng)。
生成此過程的分發(fā)/安全日志，并將其發(fā)送至Akamai云基礎(chǔ)設(shè)施上的TrafficPeak（用于日志處理的Linode計算實(shí)例和用于日志存儲的Linode對象存儲）。
TrafficPeak收集信息，提供更長的數(shù)據(jù)保留期（+15個月），從而用于歷史數(shù)據(jù)趨勢和報告，并提高整體可見性。
可支持?jǐn)?shù)百用戶的Grafana儀表盤為DataStream和SIEM功能提供了統(tǒng)一視圖。

系統(tǒng)和組件

DataStream：Akamai的邊緣原生日志流服務(wù)。
TrafficPeak：Akamai在Akamai Cloud Computing平臺上運(yùn)行的托管式可觀察性解決方案。由計算實(shí)例、對象存儲和Grafana儀表板組成。
邊緣服務(wù)器：接收、處理和服務(wù)客戶端請求的邊緣基礎(chǔ)設(shè)施。在此工作流中，邊緣服務(wù)器活動會被記錄并發(fā)送到TrafficPeak以供觀察。
數(shù)據(jù)分析：Grafana儀表盤；基于網(wǎng)絡(luò)的分析和可視化平臺，預(yù)配置了用于監(jiān)控TrafficPeak日志活動的功能。已配置并可供TrafficPeak客戶訪問。
虛擬機(jī)：用于運(yùn)行TrafficPeak日志采集和處理軟件的計算實(shí)例。由Akamai托管。
Object Storage：兼容S3的對象存儲，用于存儲來自TrafficPeak的日志數(shù)據(jù)。由Akamai托管。