什么是 CDN?

內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN，Content Distribution Network 或 Content Delivery Network)是指一種透過互聯(lián)網(wǎng)互相連接的電腦網(wǎng)絡(luò)系統(tǒng)，利用最靠近每位用戶的服務(wù)器，更快、更可靠地將音樂、圖片、視頻、應(yīng)用程序及其他文件發(fā)送給用戶，來提供高性能、可擴展性及低成本的網(wǎng)絡(luò)內(nèi)容傳遞給用戶。

CDN名稱解析

內(nèi)容

在 CDN 領(lǐng)域里，“內(nèi)容”其實就是 HTTP 協(xié)議里的“資源”，比如超文本、圖片、視頻、應(yīng)用程序安裝包等等。

• 資源按照是否可緩存又分為“靜態(tài)資源”和“動態(tài)資源”。所謂的“靜態(tài)資源”是指數(shù)據(jù)內(nèi)容“靜態(tài)不變”，任何時候來訪問都是一樣的，比如圖片、音頻。所謂的“動態(tài)資源”是指數(shù)據(jù)內(nèi)容是“動態(tài)變化”的，也就是由后臺服務(wù)計算生成的，每次訪問都不一樣，比如商品的庫存、微博的粉絲數(shù)等。很顯然，只有靜態(tài)資源才能夠被緩存加速、就近訪問，而動態(tài)資源只能由源站實時生成，即使緩存了也沒有意義。不過，如果動態(tài)資源指定了“Cache-Control”，允許緩存短暫的時間，那它在這段時間里也就變成了“靜態(tài)資源”，可以被 CDN 緩存加速。

網(wǎng)絡(luò)

CDN 的最核心原則是“就近訪問”。我們知道訪問網(wǎng)絡(luò)的速度慢，忽略其他影響服務(wù)質(zhì)量的因素，僅從網(wǎng)絡(luò)傳輸?shù)慕嵌葋砜?，一個互聯(lián)網(wǎng)系統(tǒng)的速度快慢，主要取決于以下四點因素：

網(wǎng)站服務(wù)器接入網(wǎng)絡(luò)運營商的鏈路所能提供的出口帶寬。

用戶客戶端接入網(wǎng)絡(luò)運營商的鏈路所能提供的入口帶寬。

從網(wǎng)站到用戶之間，經(jīng)過的不同運營商之間互聯(lián)節(jié)點的帶寬。一般來說，兩個運營商之間只有固定的若干個點是互通的，所有跨運營商之間的交互都要經(jīng)過這些點。

從網(wǎng)站到用戶之間的物理鏈路傳輸時延。你要是愛打游戲的話，應(yīng)該就很清楚了，延遲(Ping 值)通常比帶寬更重要。

那如果用戶能夠在本地幾十公里的距離之內(nèi)獲取到數(shù)據(jù)，那么時延就基本上變成 0 了。

分發(fā)

用戶在上網(wǎng)的時候就不直接訪問源站，而是訪問離他“最近的”一個 CDN 節(jié)點，術(shù)語叫“邊緣節(jié)點”(edge node)，其實就是緩存了源站內(nèi)容的代理服務(wù)器，這樣一來就省去了“長途跋涉”的時間成本，實現(xiàn)了“網(wǎng)絡(luò)加速”。

1. 被動回源：就是指由用戶訪問所觸發(fā)的全自動、雙向透明的資源緩存過程。當(dāng)某個資源首次被用戶請求的時候，CDN 緩存節(jié)點如果發(fā)現(xiàn)自己沒有該資源，就會實時從源站中獲取。這時資源的響應(yīng)時間可粗略認(rèn)為是資源從源站到 CDN 緩存節(jié)點的時間，再加上資源從 CDN 發(fā)送到用戶的時間之和。
2. 主動分發(fā)：源站主動發(fā)起，將內(nèi)容從源站或者其他資源庫推送到用戶邊緣的各個 CDN 緩存節(jié)點上。這個推送的操作沒有什么業(yè)界標(biāo)準(zhǔn)可循，我們可以采用任何傳輸方式(如 HTTP、FTP、P2P 等)、任何推送策略(如滿足特定條件、定時、人工等)、任何推送時間，只要與我后面要說的更新策略相匹配即可。
3. CDN 如何管理(更新)資源：最常見的管理(更新)資源的做法是超時被動失效與手工主動失效相結(jié)合。超時失效是指給予緩存資源一定的生存期，超過了生存期就在下次請求時重新被動回源一次。而手工失效是指，CDN 服務(wù)商一般會給程序調(diào)用提供失效緩存的接口，在網(wǎng)站更新時，由持續(xù)集成的流水線自動調(diào)用該接口來實現(xiàn)緩存更新。

簡介

CDN(Content Delivery Network)是指內(nèi)容分發(fā)網(wǎng)絡(luò)，也稱為內(nèi)容傳送網(wǎng)絡(luò)，這個概念始于1996年，是美國麻省理工學(xué)院的一個研究小組為改善互聯(lián)網(wǎng)的服務(wù)質(zhì)量而提出的。為了能在傳統(tǒng)IP網(wǎng)上發(fā)布豐富的寬帶媒體內(nèi)容，他們提出在現(xiàn)有互聯(lián)網(wǎng)基礎(chǔ)上建立一個內(nèi)容分發(fā)平臺專門為網(wǎng)站提供服務(wù)，并于1999年成立了專門的CDN服務(wù)公司，為Yahoo提供專業(yè)服務(wù)。由于CDN是為加快網(wǎng)絡(luò)訪問速度而被優(yōu)化的網(wǎng)絡(luò)覆蓋層，因此被形象地稱為“網(wǎng)絡(luò)加速器”。CDN網(wǎng)絡(luò)的誕生大大地改善了互聯(lián)網(wǎng)的服務(wù)質(zhì)量，因此傳統(tǒng)的大型網(wǎng)絡(luò)運營商紛紛開始建設(shè)自己的CDN網(wǎng)絡(luò)，如AT&T、德國電信、中國電信等。隨著市場需求的不斷增加，甚至出現(xiàn)了純粹的CDN網(wǎng)絡(luò)運營商，美國的Akamai就是其中最大的一個，擁有分布在世界各地的1000多個節(jié)點。我國第一家純粹的CDN網(wǎng)絡(luò)服務(wù)公司是北京藍(lán)汛公司，已從2000年開始建立了一個專門的CDN服務(wù)網(wǎng)絡(luò)一ChinaCache。目前CDN網(wǎng)絡(luò)已經(jīng)突破50個節(jié)點，覆蓋中國六大骨干網(wǎng)絡(luò)一中國電信、中國網(wǎng)通、中國移動、中國聯(lián)通、中國鐵通網(wǎng)絡(luò)以及中國教育網(wǎng)，帶寬資源儲備超過35G，服務(wù)的客戶數(shù)量達(dá)到300多家。

功能

歸納起來，CDN具有以下主要功能：(1)節(jié)省骨干網(wǎng)帶寬，減少帶寬需求量 (2)提供服務(wù)器端加速，解決由于用戶訪問量大造成的服務(wù)器過載問題 (3)服務(wù)商能使用Web Cache技術(shù)在本地緩存用戶訪問過的Web頁面和對象，實現(xiàn)相同對象的訪問無須占用主干的出口帶寬，并提高用戶訪問因特網(wǎng)頁面的相應(yīng)時間的需求 (4)能克服網(wǎng)站分布不均的問題，并且能降低網(wǎng)站自身建設(shè)和維護成本 (5)降低“通信風(fēng)暴”的影響，提高網(wǎng)絡(luò)訪問的穩(wěn)定性

路由解析

CNAME

• CNAME記錄：CNAME(Canonical Name)記錄即別名記錄，用來把一個域名解析成另一個域名，再由另一個域名提供源站服務(wù)。例如，您在一臺服務(wù)器上存放了很多資料，使用docs.example.com訪問服務(wù)器上的資源，但又希望通過documents.example.com也能訪問，您可以在您的DNS解析服務(wù)商，添加一條CNAME記錄，將documents.example.com指向docs.example.com，所有訪問documents.example.com的請求都會被轉(zhuǎn)發(fā)到docs.example.com。
• CNAME域名：在CDN控制臺添加加速域名后，系統(tǒng)會給對應(yīng)的域名分配一個*.kunlun.com形式的CNAME域名。您需要在您的DNS解析服務(wù)商處添加一條CNAME記錄，將加速域名指向CNAME域名。記錄生效后域名解析就正式轉(zhuǎn)向CDN服務(wù)，該域名所有的請求都將轉(zhuǎn)向CDN的邊緣節(jié)點，達(dá)到加速效果。

解析流程

我們來看有CDN的介入，整個DNS解析過程是怎么樣的?通過訪問www.huaweicloud.com來看看怎么給華為云的靜態(tài)頁面加速的。通過 dig 或者 host 命令，我們就能很方便地得到 DNS 服務(wù)器的返回結(jié)果(結(jié)果中頭 4 個 IP 的城市地址是我手工加入的，后面的其他記錄就不一個一個查了)，如下所示：

 ~# dig www.huaweicloud.com 
 
; <<>> DiG 9.10.6 <<>> www.huaweicloud.com 
;; global options: +cmd 
;; Got answer: 
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 59710 
;; flags: qr rd ra; QUERY: 1, ANSWER: 7, AUTHORITY: 0, ADDITIONAL: 0 
 
;; QUESTION SECTION: 
;www.huaweicloud.com.  IN A 
 
;; ANSWER SECTION: 
www.huaweicloud.com. 29 IN CNAME www.huaweicloud.com.cdn.dnsv1.com. 
www.huaweicloud.com.cdn.dnsv1.com. 29 IN CNAME cdn-koa8myv3.sched.s2.tdnsv5.com. 
cdn-koa8myv3.sched.s2.tdnsv5.com. 29 IN A 110.185.117.243  
cdn-koa8myv3.sched.s2.tdnsv5.com. 29 IN A 118.112.23.208   
cdn-koa8myv3.sched.s2.tdnsv5.com. 29 IN A 110.185.115.189 
cdn-koa8myv3.sched.s2.tdnsv5.com. 29 IN A 110.185.117.191 
cdn-koa8myv3.sched.s2.tdnsv5.com. 29 IN A 182.150.11.59 
 
;; Query time: 3 msec 
;; SERVER: 223.5.5.5#53(223.5.5.5) 
;; WHEN: Fri Sep 17 11:03:53 CST 2021 
;; MSG SIZE  rcvd: 204 

那么，根據(jù)這個解析信息，我們可以知道，DNS 服務(wù)為“www.huaweicloud.com”的查詢結(jié)果先返回了一個CNAME 記錄“www.huaweicloud.com.cdn.dnsv1.com”，服務(wù)器在遞歸查詢該 CNAME 時候，返回了另一個看起來更奇怪的 CNAME“cdn-koa8myv3.sched.s2.tdnsv5.com”。繼續(xù)查詢后，這個 CNAME 返回了幾個位于不同的 A 記錄。很明顯，這些 A 記錄就是分布在全國各地、存有本站緩存的 CDN 節(jié)點。由此，我們就能清晰地了解到 CDN 路由解析的具體工作過程了：

• 架設(shè)好“www.huaweicloud.com”的服務(wù)器后，將服務(wù)器的 IP 地址在你的 CDN 服務(wù)商上注冊為“源站”，注冊后你會得到一個 CNAME，也就是這個例子當(dāng)中的“www.huaweicloud.com.cdn.dnsv1.com”。
• 接著，將得到的 CNAME 在你購買域名的 DNS 服務(wù)商上，注冊為一條 CNAME 記錄。
• 當(dāng)?shù)谝晃挥脩魜碓L問你的站點時，會首先發(fā)生一次未命中緩存的 DNS 查詢，域名服務(wù)商解析出 CNAME 后，會返回給本地 DNS。到這里，后續(xù)的鏈路解析的主導(dǎo)權(quán)就開始由內(nèi)容分發(fā)網(wǎng)絡(luò)的調(diào)度服務(wù)接管了。
• 本地 DNS 查詢 CNAME 時，由于能解析該 CNAME 的權(quán)威服務(wù)器，只有 CDN 服務(wù)商所架設(shè)的權(quán)威 DNS，這個 DNS 服務(wù)會根據(jù)一定的均衡策略和參數(shù)，比如拓?fù)浣Y(jié)構(gòu)、容量、時延等等，在全國各地能提供服務(wù)的 CDN 緩存節(jié)點中挑選一個最適合的，把它的 IP 替換成源站的 IP 地址，然后返回給本地 DNS。
• 瀏覽器從本地 DNS 拿到了 IP 地址后，就會把該 IP 當(dāng)作源站服務(wù)器來進行訪問，此時該 IP 的 CDN 節(jié)點上可能有，也可能沒有緩存過源站的資源。最后，經(jīng)過內(nèi)容分發(fā)后的 CDN 節(jié)點，就有能力代替源站向用戶提供所請求的資源了。

cdn解析.png

內(nèi)容存儲

“內(nèi)容源的存儲”與“內(nèi)容在 Cache節(jié)點中的存儲”

1. 對于CDN系統(tǒng)而言，需要考慮兩個方面的內(nèi)容存儲問題。一個是內(nèi)容源的存儲，一個是內(nèi)容在 Cache節(jié)點中的存儲。
2. 對于內(nèi)容源的存儲，由于內(nèi)容的規(guī)模比較大(通?？梢赃_(dá)到幾個甚至幾十個TB)，而且內(nèi)容的吞吐量較大，因此，通常采用海量存儲架構(gòu)，如NAS和SON。對于在 Cache節(jié)點中的存儲，是 Cache設(shè)計的一個關(guān)鍵問題。需要考慮的因素包括功能和性能兩個方面:功能上包括對各種內(nèi)容格式的支持，對部分緩存的支持;在性能上包括支持的容量、多文件吞吐率、可靠性、穩(wěn)定性。
3. 其中，多種內(nèi)容格式的支持要求存儲系統(tǒng)根據(jù)不同文件格式的讀寫特點進行優(yōu)化，以提高文件內(nèi)容讀寫的效率。特別是對針對流媒體文件的讀寫。部分緩存能力指流媒體內(nèi)容可以以不完整的方式存儲和讀取。部分緩存的需求來自用戶訪問行為的隨機性，因為許多用戶并不會完整地收看整個流媒體節(jié)目。事實上，許多用戶訪問單個流媒體節(jié)目的時間不超過10分鐘。因此，部分緩存能力能夠大大提高存儲空間的利用率，并有效提高用戶請求的響應(yīng)時間。但是部分緩存可能導(dǎo)致內(nèi)容的碎片問題，需要進行良好的設(shè)計和控制。
4. Cache存儲的另一個重要因素是存儲的可靠性，目前，多數(shù)存儲系統(tǒng)都采用了獨立磁盤冗余陣列(RAID)技術(shù)進行可靠存儲。但是不同設(shè)備使用的RAID方式各有不同。

內(nèi)容管理

“命中”和“回源”

這里就有兩個 CDN 的關(guān)鍵概念：“命中”和“回源”。

• “命中”就是指用戶訪問的資源恰好在緩存系統(tǒng)里，可以直接返回給用戶;“回源”則正相反，緩存里沒有，必須用代理的方式回到源站取。
• 相應(yīng)地，也就有了兩個衡量 CDN 服務(wù)質(zhì)量的指標(biāo)：“命中率”和“回源率”。命中率就是命中次數(shù)與所有訪問次數(shù)之比，回源率是回源次數(shù)與所有訪問次數(shù)之比。顯然，好的 CDN 應(yīng)該是命中率越高越好，回源率越低越好?，F(xiàn)在的商業(yè) CDN 命中率都在 90% 以上，相當(dāng)于把源站的服務(wù)能力放大了 10 倍以上。

資源更新與失效

更令人感到無奈的是，由于大多數(shù)網(wǎng)站的開發(fā)和運維人員并不十分了解 HTTP 緩存機制，所以就導(dǎo)致了，如果 CDN 完全照著 HTTP Headers 來控制緩存失效和更新，效果反而會更差，而且還可能會引發(fā)其他的問題。所以，CDN 緩存的管理沒有通用的準(zhǔn)則。現(xiàn)在，最常見的管理(更新)資源的做法是超時被動失效與手工主動失效相結(jié)合。超時失效是指給予緩存資源一定的生存期，超過了生存期就在下次請求時重新被動回源一次。而手工失效是指，CDN 服務(wù)商一般會給程序調(diào)用提供失效緩存的接口，在網(wǎng)站更新時，由持續(xù)集成的流水線自動調(diào)用該接口來實現(xiàn)緩存更新。

額外能力

高效的傳輸協(xié)議

• 不少 CDN 提供商都同時對接(代售 CA 的)SSL 證書服務(wù)，這樣就可以實現(xiàn)源站是 HTTP 協(xié)議的，而對外開放的網(wǎng)站是基于 HTTPS 的。
• 同理，這樣的做法也可以實現(xiàn)源站到 CDN 是 HTTP/1.x 協(xié)議，而 CDN 提供的外部服務(wù)是 HTTP/2 或 HTTP/3 協(xié)議;或者是實現(xiàn)源站是基于 IPv4 網(wǎng)絡(luò)的，CDN 提供的外部服務(wù)支持 IPv6 網(wǎng)絡(luò)，等等。

可靠的安全防護能力

CDN通過可靠的安全防護措施，幫助您規(guī)避業(yè)務(wù)上的安全風(fēng)險。

• 防盜鏈：用戶可以選擇通用的Refer、UA、URL、IP等通用鑒權(quán)方式，也可以用EdgeScript來定制鑒權(quán)方式，以防止源站資源被盜用;支持遠(yuǎn)程鑒權(quán)功能實現(xiàn)二次鑒權(quán)。
• DNS防劫持：HTTPDNS技術(shù)使用HTTP協(xié)議訪問的服務(wù)端，獲得域名解析結(jié)果，繞過運營商的Local DNS，避免域名劫持。
• HTTPS傳輸加密：支持采用TLS協(xié)議來加密HTTP協(xié)議內(nèi)容，防止明文數(shù)據(jù)暴露在互聯(lián)網(wǎng)上，并且可以設(shè)置TLS1.3、HSTS、keyless等高級功能。
• 源站保護：CDN產(chǎn)品自身具備一定的安全防護能力，也可以配置SCDN產(chǎn)品來提供更強的安全防護能力。

總結(jié)

CDN 發(fā)展到現(xiàn)在已經(jīng)有二十來年的歷史了，早期的 CDN 功能比較簡單，只能加速靜態(tài)資源。隨著這些年 Web 2.0、HTTPS、視頻、直播等新技術(shù)、新業(yè)務(wù)的崛起，它也在不斷進步，增加了很多的新功能，比如 SSL 加速、內(nèi)容優(yōu)化(數(shù)據(jù)壓縮、圖片格式轉(zhuǎn)換、視頻轉(zhuǎn)碼)、資源防盜鏈、WAF 安全防護等等。網(wǎng)站只安心生產(chǎn)優(yōu)質(zhì)的內(nèi)容，其他的“雜事”都由它去代勞。

• 由于客觀地理距離的存在，直連網(wǎng)站訪問速度會很慢，所以就出現(xiàn)了 CDN;
• CDN 構(gòu)建了全國、全球級別的專網(wǎng)，讓用戶就近訪問專網(wǎng)里的邊緣節(jié)點，降低了傳輸延遲，實現(xiàn)了網(wǎng)站加速;
• GSLB 是 CDN 的“大腦”，使用 DNS 負(fù)載均衡技術(shù)，智能調(diào)度邊緣節(jié)點提供服務(wù);
• 緩存系統(tǒng)是 CDN 的“心臟”，使用 HTTP 緩存代理技術(shù)，緩存命中就返回給用戶，否則就要回源。

本文轉(zhuǎn)載自微信公眾號「運維開發(fā)故事」