揭破CDN優(yōu)化之謎—Tech Neo第十五期技術(shù)沙龍
原創(chuàng)【51CTO.com原創(chuàng)稿件】網(wǎng)站特效多加載慢、DDOS攻擊、CPU負(fù)載、跨運(yùn)營商、地區(qū)服務(wù)器負(fù)載等網(wǎng)絡(luò)問題,一直是大中小企業(yè)的困擾。CDN憑借靈活、便捷、成本低等因素,成為眾企業(yè)選擇優(yōu)化網(wǎng)絡(luò)的主流方案。但CDN化并非易事,無論是自建還是商用,總要面臨技術(shù)、資金、抉擇等挑戰(zhàn)。
“寒暑平和晝夜均,陰陽相半在秋分”。在這個有意義的節(jié)氣,51CTO以“Tech Neo”為主題的技術(shù)沙龍第十五期于北京舉行。本次沙龍邀請了來自國美互聯(lián)網(wǎng)應(yīng)用運(yùn)維技術(shù)負(fù)責(zé)人張高明、美團(tuán)云技術(shù)專家王偉和一下科技架構(gòu)師賈朝藤三位老師,和近百位開發(fā)者共同揭破CDN之謎,分享不同領(lǐng)域的CDN優(yōu)化實(shí)踐之道。
“CDN如何讓網(wǎng)絡(luò)更智能”活動現(xiàn)場
國美互聯(lián)網(wǎng)CDN方向的實(shí)踐
活動以張高明老師分享為開端,主要闡述了國美互聯(lián)網(wǎng)在CDN方向的一些實(shí)現(xiàn)與痛點(diǎn)。
張高明·國美互聯(lián)網(wǎng)應(yīng)用運(yùn)維技術(shù)負(fù)責(zé)人
這位互聯(lián)網(wǎng)老兵,讓開發(fā)者對于智能CDN有了更深的認(rèn)識,如下圖
如圖中所示,智能CDN由人、AI、大數(shù)據(jù)、智能DNS、鏈路優(yōu)化以及智能調(diào)試器等六部分組成,形成閉環(huán),環(huán)環(huán)相扣。
張老師主要介紹國美互聯(lián)網(wǎng)在APP、IMG和視頻三方面的CDN優(yōu)化實(shí)踐:
- APP端。做靜態(tài)文件優(yōu)化,采用方式有縮略圖、兩種Cache、短緩存等。
- IMG。采用WebP的格式,兩種圖片、CDN采用UA判斷實(shí)現(xiàn)、60%-70%資源占用
- 視頻。推、拉模式選擇、CDN調(diào)度器、自適應(yīng)播放器
當(dāng)然,在CDN優(yōu)化過程中,也遇到一些痛點(diǎn):
- 如ISP(劫持、IP移動端、GFW)
- 如CDN(服務(wù)質(zhì)量、計(jì)費(fèi)方式、個性化需求、朋友非敵人)
- 如用戶(外部、內(nèi)部)
美團(tuán)四層負(fù)載均衡-MGW
第二位分享的是有開發(fā)并部署美團(tuán)四層負(fù)載均衡集群經(jīng)驗(yàn)的王偉老師,從分享中開發(fā)者可了解到什么是負(fù)載均衡,四層與七層負(fù)載均衡的區(qū)別,以及實(shí)現(xiàn)高性能與高可靠的布設(shè)技巧。
王偉·美團(tuán)云技術(shù)專家
負(fù)載均衡分為硬件和軟件兩種,硬件負(fù)載均衡像硬件、人力、時間等成本很高。軟件負(fù)載均衡應(yīng)用更廣泛,如下圖,是美團(tuán)早期負(fù)載均衡結(jié)構(gòu)
早期負(fù)載均衡結(jié)構(gòu)存在中斷、過長的協(xié)議棧路徑、鎖和上下文切換等問題,解決上訴問題需做PMD驅(qū)動、kernel bypass、無鎖設(shè)計(jì)和對CPU綁定、隔離。
在高可靠方面,美團(tuán)自研MGW替換早期的LVS,主要解決機(jī)器下線導(dǎo)致的問題,升級過程中造成的影響,實(shí)現(xiàn)故障的檢測與切換,故障恢復(fù)與擴(kuò)容,提升MGW單機(jī)、應(yīng)用服務(wù)等可靠性。
未來,希望進(jìn)一步自動化升級以及部署上線,使得運(yùn)維升本變得更低。
秒拍播放鏈路優(yōu)化實(shí)踐
最后一位分享來自一下科技的賈朝藤老師,圍繞“秒拍播放鏈路優(yōu)化實(shí)踐”展開,涉及產(chǎn)品與技術(shù)架構(gòu)、播放之前資源上傳、播放 && 調(diào)度歷史演進(jìn)、轉(zhuǎn)碼和后續(xù)優(yōu)化方向等細(xì)節(jié)。
賈朝藤·一下科技(秒拍、小咖秀、一直播)架構(gòu)師
2013年8月上線的秒拍播放,每日數(shù)億視頻播放量,數(shù)千位明星入駐,當(dāng)前秒拍和小咖秀日播放量峰值突破30億次,日上傳量峰值達(dá)200萬。技術(shù)架構(gòu)從上至下分為WEB、APP,業(yè)務(wù)邏輯API,用戶與視頻服務(wù),基于關(guān)系、計(jì)數(shù)、搜索、PUSH、推薦等一些類服務(wù)四大層。
如下圖,是播放之前資源上傳流程
播放&調(diào)度共經(jīng)歷了兩個版本,第一是業(yè)務(wù)邏輯直接返回;第二是基于探測點(diǎn),CDN日志離線計(jì)算CDN質(zhì)量,調(diào)度切量。在自有IP庫及IP庫數(shù)據(jù)更新維護(hù)、防劫持與數(shù)據(jù)上報(bào)&日志分析等方面都進(jìn)行了迭代。當(dāng)然,在過程中也會有不可預(yù)測的黑天鵝,如新浪S3服務(wù)異常、內(nèi)網(wǎng)中斷,七牛寧波光纖被挖斷等。
在播放調(diào)度方面,多家CDN質(zhì)量調(diào)度,快速接入。實(shí)現(xiàn)快速返回、弱業(yè)務(wù)邏輯、輕量,高效、靈活可控。
轉(zhuǎn)碼服務(wù)是不可缺少的一環(huán),如下圖是整個轉(zhuǎn)碼流程
活動接近尾聲,開發(fā)者們的熱情依舊高漲,針對CDN測試、架構(gòu)設(shè)計(jì)、安全、備份等細(xì)分問題,與諸位老師進(jìn)行了深度交流。
51CTO Tech Neo技術(shù)沙龍是51CTO在2016年開始定期組織的IT技術(shù)人員線下交流活動,目前僅限北京地區(qū),周期為每月1次,每期關(guān)注一個話題,范圍涉及大數(shù)據(jù)、云計(jì)算、機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)等多個技術(shù)領(lǐng)域。
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】