一、FinOps平臺初期問題

新東方成立至今已有30年，但基于IT和運維平臺的基礎(chǔ)設(shè)施建設(shè)，近些年才逐漸形成規(guī)模。

1.面臨困境

圖片

• 煙囪效應(yīng)：早期發(fā)展過程中，各個業(yè)務(wù)平臺都有專門的研發(fā)方向，比如服務(wù)器部門專攻服務(wù)研發(fā)，網(wǎng)絡(luò)部門專攻網(wǎng)絡(luò)研發(fā)，安全部門專攻安全研發(fā)。這種“各個團隊深挖自己擅長領(lǐng)域”的研發(fā)模式，導(dǎo)致內(nèi)部系統(tǒng)煙囪林立，難以進行數(shù)據(jù)互聯(lián)互通。
• 數(shù)據(jù)孤島：新業(yè)務(wù)新市場的拓展過程中各內(nèi)部系統(tǒng)沒法直接復(fù)用和迭代，產(chǎn)生的新數(shù)據(jù)無法與原有的數(shù)據(jù)互通，加劇了數(shù)據(jù)孤島的問題。
• 組織熵增：各個平臺功能單一化，平臺與平臺之間的協(xié)調(diào)配合、數(shù)據(jù)交互異?；靵y，隨著企業(yè)核心業(yè)務(wù)增長，卻帶來了效率低下的問題。

基于以上三方面問題，產(chǎn)生了建立統(tǒng)一化對外平臺的需求。

2.初期構(gòu)想

問題1：哪些獨立功能需要集成？

下圖展示了平臺初期的7項業(yè)務(wù)重點。

圖片

• 資源申請：這是開發(fā)平臺時設(shè)想的新功能，研發(fā)人員通過平臺自助申請資源，同時資源支持自動納管。
• 信息檢索：當同業(yè)務(wù)線的人員檢索服務(wù)器、PaaS類內(nèi)容等信息，可獲得精確數(shù)據(jù)。
• 流程操作：規(guī)劃流程模式，用于資源申請、業(yè)務(wù)流程創(chuàng)建。
• 業(yè)務(wù)上線：即大家熟知的CI/CD。
• 成本控制：將在后文詳述。
• 數(shù)據(jù)安全
• 高效穩(wěn)定

問題2：集成后如何方便地進行資源成本分攤？

圖片

根據(jù)上述概念，如何針對云教室、東方甄選、小課堂等應(yīng)用項目，進行資源的成本分攤呢？

第一，申請流程。目前已經(jīng)搭建起平臺，就通過云主機、云盤或數(shù)據(jù)庫資源等進行申請。流程創(chuàng)建的同時，這些資源掛載到對應(yīng)的服務(wù)樹上，相當于在數(shù)據(jù)庫層面進行關(guān)聯(lián)。

第二，通過平臺分攤資源成本。

平臺搭建前已有的數(shù)據(jù)，如何轉(zhuǎn)移到平臺呢？

• 資源獲?。何锢韺用妫ㄟ^數(shù)據(jù)納管腳本，將物理層的數(shù)據(jù)中心、機架、服務(wù)器的物理機，以及硬件配置納管；混合云層面，阿里云、騰訊云和微軟云等公有云，以及VMware的VSphere和OpenStack等私有云的數(shù)據(jù)，通過API進行同步或官方SDK拉取。
• 資源位置：物理機是IDC，VSphere屬于私有云，微軟、阿里、騰訊屬于公有云。
• 資源類型：目前支持通過平臺（阿里ECS和RDS，騰訊CVM和CDB等），申請云主機、數(shù)據(jù)庫、對象存儲等資源類型。

圖片

Redis、ES、Kafka、RocketMQ等中間件的資源，用于實現(xiàn)緩存或服務(wù)隊列等輔助功能。

3.解決辦法——服務(wù)樹

如何將這些資源分配到各個業(yè)務(wù)線呢？這涉及到服務(wù)樹的概念（前文介紹業(yè)務(wù)的成本分攤時亦有提及）。服務(wù)樹與人力資源樹不同，人力資源樹更關(guān)注公司的部門關(guān)系和組織架構(gòu)，而服務(wù)樹更關(guān)注企業(yè)的業(yè)務(wù)應(yīng)用。

經(jīng)過長時間的整理工作，我們形成了新東方集團的服務(wù)樹，共分為5個層級。

圖片

• 第一級-集團：即新東方集團，它是所有業(yè)務(wù)的根節(jié)點；
• 第二級-業(yè)務(wù)線：包含地方校、機構(gòu)和子公司等；
• 第三級-項目集：一類高度關(guān)聯(lián)項目的集合；
• 第四級-項目：各類業(yè)務(wù)研發(fā)的立項；
• 第五級-應(yīng)用：包含開發(fā)模塊、 App組件、各種微服務(wù)等內(nèi)容，這是服務(wù)樹的最小粒度。

4.通過服務(wù)樹關(guān)聯(lián)集成業(yè)務(wù)功能

圖片

根據(jù)上述5個層級，可以通過服務(wù)樹數(shù)據(jù)，關(guān)聯(lián)具體的應(yīng)用功能，并為用戶角色分配服務(wù)樹節(jié)點。同時，服務(wù)樹節(jié)點對應(yīng)服務(wù)API，通過賦予角色不同的action權(quán)限，達成集中授權(quán)的功能。這是服務(wù)樹結(jié)合應(yīng)用的案例之一。

二、數(shù)據(jù)和安全建設(shè)

1.案例：實時計算平臺

1）大數(shù)據(jù)實時計算架構(gòu)

圖片

第一個案例是數(shù)據(jù)平臺中比較重點的項目——實時計算平臺。實時計算，與在離線數(shù)據(jù)分析的概念相似。

如上圖所示，左邊是RDBMS和分布式數(shù)據(jù)庫，基于CDC進行數(shù)據(jù)采集，中間是類似于Kafka的數(shù)據(jù)通道，右邊是一個存算分離的架構(gòu)、一個實時數(shù)倉，以及在離線計算的任務(wù)和存儲。最終，數(shù)據(jù)到達數(shù)據(jù)分析平臺，用于BI統(tǒng)計和計算。

我們負責(zé)研發(fā)實時計算平臺的中間部分，其功能包括SQL任務(wù)和JAR包任務(wù)。

2）上下游通過流程串聯(lián)

圖片

我們希望業(yè)務(wù)用戶進入平臺之后，能夠以一種簡單的方式，發(fā)現(xiàn)、實時Job計算，故目前提供2種選擇：

• 第一種方式：將Java程序打包后，用提交Jar包任務(wù)來提供計算服務(wù)。由于大數(shù)據(jù)和數(shù)分Java工程師比較多，他們會寫基于Flink的Job；
• 第二種方式：直接在平臺的在線Web IDE中，用SQL語句寫DDL或DML語句，生成Source表或Sink表功能，用于處理實時計算的過程數(shù)據(jù)。這是整體的上下游關(guān)聯(lián)流程架構(gòu)，任務(wù)提交前通常由 DBA來審核。

3）數(shù)據(jù)處理能力升級-實時數(shù)據(jù)研發(fā)平臺

下圖呈現(xiàn)了實時計算平臺中，任務(wù)SQL語句生成的表結(jié)構(gòu)、Job實時任務(wù)的操作（可以進行Job暫停、重啟、拉起、停止等操作，以及類似的模板功能等）、Source表和Sink表結(jié)構(gòu)等。

圖片

開發(fā)實時計算平臺的預(yù)想目標是，建立一個自動化的研發(fā)的數(shù)據(jù)模型，集成原有割裂的實時計算存儲和計算，通過服務(wù)樹與業(yè)務(wù)庫表關(guān)聯(lián)，提升整體研發(fā)效率。

2.案例：安全項目驅(qū)動開發(fā)

第二個案例是安全類項目，我們曾參與6項安全類研發(fā)項目。

圖片

• 紅藍對抗：并非內(nèi)部人員組成紅軍藍軍，而是邀請外部安全公司，進行安全打擊測試。
• 滲透測試：基于單個項目，針對某些平臺進行安全類檢測，用于輸出和修復(fù)未處理的漏洞、事件和風(fēng)險。
• 敏感數(shù)據(jù)檢測：針對可能涉及到敏感數(shù)據(jù)的項目進行檢測，比如用戶真實姓名、身份證號、電話號碼等等，利用定期掃描任務(wù)，通過敏感數(shù)據(jù)識別模板進行識別，來協(xié)調(diào)開發(fā)人員對敏感數(shù)據(jù)進行加密存儲和傳輸。
• 安全中心：內(nèi)部提供一些功能，比如說像安全管理、內(nèi)部政策法規(guī)類的平臺。

接下來我將重點說明后兩個項目：安全 APP合規(guī)平臺、內(nèi)部CA認證。

1）案例：安全APP合規(guī)平臺

圖片

APP合規(guī)檢測，是針對新東方自研APP，從管理和技術(shù)兩方面，進行安全合規(guī)檢測，以減少風(fēng)險。我們對這些APP進行安全左移的第三方檢測，并評分。如果未達到安全評分，比如檢測到安全風(fēng)險或漏洞，安全團隊會在平臺上提交APP漏洞，提示業(yè)務(wù)線安全加固，否則不能上架。

圖片

安全合規(guī)檢測項目對APP業(yè)務(wù)非常重要。針對東方甄選、托福等重點項目，我們會進行APP合規(guī)檢測，并列出高危風(fēng)險、低危風(fēng)險等詳細信息。

2）案例：CA認證中心

為什么要構(gòu)建內(nèi)部的CA中心？

平臺具有在線終端功能，在瀏覽器頁面通過調(diào)用web socket自動登錄到服務(wù)器黑屏操作上（類似xshell和crt），自動登錄需要進行登錄認證。

圖片

初期為了方便，使用了第一種方案：傳統(tǒng)的密碼認證，但由于密碼非常容易拷貝和背誦，風(fēng)險系數(shù)非常高。

所以改用第二種方案：公私鑰的密鑰對認證。它解決了密碼易于拷貝和背誦的問題（公私鑰包括好幾百個字節(jié)，數(shù)據(jù)串很長，一般人難以背誦），但是這個方案忽略了一個問題——公私鑰依然是可以傳遞的。

后來我們調(diào)研了第三種方案：CA認證，搭建了內(nèi)部CA認證中心，實現(xiàn)了平臺端的三方認證，即平臺-用戶-CA憑證。用戶操作具體頁面時，需要上傳CA憑證（內(nèi)含針對用戶的算法哈希值）。

CA認證有效且通過用戶hash驗證后，下一步需判斷CA憑證是否超期、與服務(wù)端憑證是否相符等，如有一項不滿足，則判定為非法請求，拒絕后續(xù)操作。

圖片

上圖為我們開發(fā)的CA認證流程圖。調(diào)研 CA認證時，曾考慮過采購商業(yè)版本的，但很多安全公司尚未具備CA認證的完整流程，所以只能自行搭建。

CA認證的詳細流程：

• 第一步：用戶登錄之后，操作CA關(guān)聯(lián)的應(yīng)用時，判斷用戶憑證是否處于認證有效期內(nèi)，有效期內(nèi)（例如7天）則不用重復(fù)認證，否則需要重新認證。這種邏輯對關(guān)聯(lián)的功能模塊非常友好，用戶不必反復(fù)登錄認證，體驗類似SSO。
• 第二步：判斷服務(wù)端是否真實存在認證證書，如認證證書不存在，用戶需申請并重新下載。
• 第三步：判斷證書在服務(wù)端是否已經(jīng)被吊銷，如被吊銷或刪除，需重新認證。

圖片

完成以上三步，用戶即通過認證，可以進行下一步工作。由此可以理解為，我們將CA認證功能集成于一個請求的中間件。

三、成本中心一體化

1.FinOps的概念和本質(zhì)

圖片

FinOps基金會對FinOps的定義是，讓研發(fā)、財務(wù)、業(yè)務(wù)等各個團隊共同配合，從數(shù)據(jù)和資源層面，放大業(yè)務(wù)利用價值，實現(xiàn)降本增效。

圖片

上圖是我們目前的FinOps框架圖，上面部分包括多云賬單管理、預(yù)算管理、成本優(yōu)化分析，報警等迭代功能；中間部分是云單元管理、云CMDB、權(quán)限管理等平臺；下面部分是使用的混合公有云的基礎(chǔ)設(shè)施（阿里、騰訊、微軟）。

2.FinOps一體化平臺組成

圖片

DevOps平臺和FinOps平臺，通過服務(wù)樹（節(jié)點）進行連接，由此判斷服務(wù)樹內(nèi)存在哪些應(yīng)用、資源，這些資源關(guān)聯(lián)哪些賬單，甚至細分到具體服務(wù)器的粒度層面。

3.FinOps云成本優(yōu)化業(yè)務(wù)組成

圖片

以上是業(yè)務(wù)圖，上方是云課堂、東方甄選類似的業(yè)務(wù)應(yīng)用，我們?yōu)槠涮峁﹫蟊砗蜆I(yè)務(wù)賬單；中間部分是成本中心和運維門戶；下方是依賴，使用公有云官方的API，私有云就是各個廠商（比如VMware、OpenStack等）提供的SDK組件。

4.案例

1）案例：FinOps月賬單

圖片

上圖是項目月度賬單報表（已脫敏），包括現(xiàn)金賬單和攤銷賬單。

• 現(xiàn)金賬單：企業(yè)單位實際支出費用，財務(wù)與商務(wù)比較關(guān)心這部分內(nèi)容。
• 攤銷賬單：多租戶使用、不方便直接生成賬單的部分，比如MySQL、Redis或存儲，就按照主機使用率百分比，將使用支出分散到各個業(yè)務(wù)線上，以便業(yè)務(wù)通過使用率和攤銷情況進行對賬。

2）案例：阿里云RDS報表

圖片

如上圖所示，這份阿里云RDS報表（通過阿里公有云API獲?。┌瑤讉€重要指標，比如涉及服務(wù)器的高開支項目集中于哪些部分，哪些是實例，實例規(guī)格配置如何（比如2C4G、4C8G等），實例規(guī)格花銷如何，花銷分攤對應(yīng)項目的具體數(shù)目。

3）案例：移課通報表賬單

圖片

由于涉及課程的營銷推廣，所以新東方具有客服業(yè)務(wù)，分為短信和會話兩種套餐。

新東方具有多個子公司和地方校，各個學(xué)校的通信費用、使用個數(shù)和開銷構(gòu)成了其套餐費用。我們重點關(guān)注移課通賬單開銷，使用逐步優(yōu)化的FinOps分賬算法，形成各地方校和子公司的賬單優(yōu)化閉環(huán)。

5.FinOps成本優(yōu)化閉環(huán)

圖片

賬單閉環(huán)優(yōu)化的邏輯如上圖。

• 付費合理性預(yù)測：基于IT賬單，判斷目前消費環(huán)節(jié)的有效性、合理性，是否符合預(yù)期，是否存在超預(yù)算的必要支出。
• 降本節(jié)約性建議：基于合理性預(yù)測，結(jié)合算法檢查付費方式（RDS 按月/按量、移課通 套餐一/套餐二）在不影響業(yè)務(wù)的前提下，選擇更有助于優(yōu)化成本的付費方式。
• 成本結(jié)果集觀測：基于降本節(jié)約性建議，優(yōu)化付費方式，生成業(yè)務(wù)月賬單現(xiàn)金成本的結(jié)果集，實現(xiàn)成本支出的可觀測性，作為預(yù)算參考。

具備預(yù)算參考后，需要基于生成的結(jié)果集賬單，再次判斷合理性預(yù)算，整體形成云成本優(yōu)化的閉環(huán)。

1）案例：業(yè)務(wù)線月度費用報表-費用預(yù)算和最終賬單參考

圖片

上圖是費用預(yù)算和最終賬單的參考（已脫敏），內(nèi)容包含具體日期、負責(zé)人部分花銷、各項目和主機的分攤費用。云成本方面，內(nèi)容則包括涉及的公有云類型，比如阿里 ECS、RDS、CDN的詳細賬單，以及服務(wù)器運行時長等。

2）案例：云實例規(guī)格配置管理

圖片

因為不同云主機的規(guī)格配置有多個版本，一條配置可能包含幾十條規(guī)格名稱。用戶在平臺申請云主機或RDS數(shù)據(jù)庫時，可能面對上千條規(guī)格配置，導(dǎo)致選擇困難。

基于以上問題，我們設(shè)計了云實例規(guī)格的收斂方案，通過資源實例配置管理，進行自定義規(guī)格列表，同時支持配置優(yōu)先級。處理人為錯選或配置冗余的情況，優(yōu)先提供更具性價比、目前線上應(yīng)用更多的實例配置。

由此，提供給用戶幾個不同配置的定制化選項，并且使用人性化規(guī)格名稱，用戶可以根據(jù)需求選擇，既節(jié)約時間，又避免了晦澀難懂的規(guī)格名稱混淆用戶選擇。

3）案例：閑置率報表及成本黑名單

圖片

2021年頒布的雙減政策對教育業(yè)務(wù)打擊很大，各大公司均收緊業(yè)務(wù)、裁員降本。以往未曾注意的資源浪費問題，如今越發(fā)凸顯，加之裁撤業(yè)務(wù)和項目，作為運維重要開銷的云成本問題較為棘手。

所以，我們利用長期運行但資源利用率閑置的主機，額外采集系統(tǒng)監(jiān)控數(shù)據(jù)，列出由高到低排名前五的業(yè)務(wù)線黑名單，向每條業(yè)務(wù)線的負責(zé)人發(fā)送郵件報表，敦促業(yè)務(wù)負責(zé)人盡快處理。處理方式推薦以下三種：

• 退租：即機器無人使用、業(yè)務(wù)無人接手；
• 混布：CPU密集但內(nèi)存消耗少的服務(wù)，可以與內(nèi)存密集但CPU消耗少的服務(wù)進行混布，提高資源利用率；
• 遷移：將閑置資源轉(zhuǎn)移給其他業(yè)務(wù)，變更機器所屬服務(wù)樹，盤活閑置資源。關(guān)于閑置率，并非關(guān)注節(jié)約多少成本，而是關(guān)注每種資源都實現(xiàn)其應(yīng)用價值。

6.優(yōu)化步驟與成本考核

圖片

前文提到，根據(jù)業(yè)務(wù)成本分攤結(jié)果，統(tǒng)計并處理閑置率主機，優(yōu)化云資源規(guī)格的優(yōu)先級、包年或流量套餐選擇。最終，結(jié)合業(yè)務(wù)線成本輸出，形成一種考核模式，目的是提高利用率，確保各個業(yè)務(wù)線ROI處于較高的水平。

1）案例：年度IT各類費用趨勢

圖片

通過FinOps優(yōu)化成本后，整體開銷的趨勢走向如上圖（已脫敏）。相比以往總體成本最高的時期，當前成本下降近一半，這是FinOps平臺最顯著的效果。

四、經(jīng)驗沉淀

1.降本增效的經(jīng)驗：聚焦和成本控制

• 業(yè)務(wù)板塊聚焦：和同行業(yè)公司一樣，修剪業(yè)務(wù)線，甚至大比例裁員?？车粢郧暗倪吘墭I(yè)務(wù)，將更多的精力、資源、開支投入核心的業(yè)務(wù)板塊，和新興的、著力發(fā)展的業(yè)務(wù)板塊，比如東方甄選。
• 精簡申請流程：精簡過往流程中的郵件往來、人為復(fù)雜操作或冗余選項等配置，提高工單流轉(zhuǎn)效率。
• 上云及容器化：與傳統(tǒng)的IDC服務(wù)器相比，上云的優(yōu)勢是無需關(guān)心物理服務(wù)器的采購環(huán)節(jié)、機架費用、電力費用、帶寬費用、異地多活架構(gòu)方案等，且能夠提供更好的伸縮性，支持動態(tài)擴容、多副本和快照，具有自動災(zāi)難恢復(fù)、故障轉(zhuǎn)移，避免供應(yīng)商綁定等優(yōu)勢，所以整體來說是有降本和容災(zāi)的好處。
• 閑置資源回收
• 超額資源審核：用戶申請資源時，無論是云主機、PaaS資源，還是對象存儲類資源，在超過一定金額的話，會交由云管理員進行審核，這對于大環(huán)境非常不好情況下，是一個非常重要的成本卡口。

優(yōu)化的最終結(jié)果是，集團整體降本百分比達30%，增效40%，實現(xiàn)業(yè)務(wù)在成本降低的情況下加速投產(chǎn)。

2.技術(shù)提效思維

• 復(fù)制牛人經(jīng)驗，提高作戰(zhàn)能力：避免重復(fù)造輪子；
• 核心模塊抽象，高內(nèi)聚低耦合：提高代碼抽象度，實現(xiàn)各研發(fā)模塊能力通用；
• 架構(gòu)微服務(wù)化，增加通用接口：使用網(wǎng)關(guān)或API接口封裝，實現(xiàn)通用網(wǎng)關(guān)的接口路由；
• 文檔定期沉淀，鼓勵知識共享：在企業(yè)內(nèi)部，通過內(nèi)部的文檔庫進行知識沉淀；在企業(yè)外部，通過公眾號和Gdevops等大會進行技術(shù)分享和溝通討論。

3.運維業(yè)務(wù)研發(fā)精進過程

• 目標定義：溝通需求目標、業(yè)務(wù)重點，了解現(xiàn)有資源，熟悉現(xiàn)有運維流程，構(gòu)建基本的研發(fā)架構(gòu)（或體系）思路。
• 需求分析：明確需求方向，確認優(yōu)先級和需求難度，規(guī)劃實施方針。
• 目標拆解：基于確定的方向，按照難度和優(yōu)先級，拆解細化需求，安排并推進團隊的下一步開發(fā)工作。
• 階段實現(xiàn)：根據(jù)需求優(yōu)先級和產(chǎn)品目標，為用戶提供階段性產(chǎn)出，檢驗產(chǎn)品與用戶的目標達成率。

Q&A

Q1：新東方戰(zhàn)略主營業(yè)務(wù)條線推進降本增效，但IT費用屬于IT基礎(chǔ)資源，業(yè)務(wù)其實無感知，請問IT和業(yè)務(wù)之間如何配合，促進降本增效？

A1：服務(wù)樹里包括項目、應(yīng)用等維度，每個項目都具備對應(yīng)的研發(fā)負責(zé)人、項目負責(zé)人，項目與服務(wù)樹相關(guān)聯(lián)，服務(wù)樹同時與各項IT資源（比如云主機、PaaS等）關(guān)聯(lián)，所產(chǎn)生的費用將聯(lián)動到FinOps成本中心。由此，建立起IT成本與人的聯(lián)系。

我們可以將IT資源涉及到的各種成本，通過郵件發(fā)送給各個業(yè)務(wù)線的負責(zé)人，形成了降本增效的提醒環(huán)節(jié)。

作者介紹

鐘仕駿，首師大畢業(yè)，現(xiàn)就職于新東方教育，曾就職于搜狐、快手。搜狐大廈資深老煙民，曾在搜狗、搜狐視頻移動端NO工作過，負責(zé)運維及后臺數(shù)據(jù)研發(fā)。快手第一位SRE，曾負責(zé)快手「所有」運維基礎(chǔ)化建設(shè)，規(guī)劃并參與了2020年春晚紅包項目。現(xiàn)任新東方教育運維研發(fā)高級經(jīng)理，負責(zé)企業(yè)基礎(chǔ)架構(gòu)標準化體系研究、自動化平臺研發(fā)等。