譯者 | 核子可樂

審校 | 重樓

如今，平臺(tái)工程師負(fù)責(zé)解決的需求正在迅速演變，由最初DevOps自然演化的產(chǎn)物發(fā)展成一門職責(zé)不斷擴(kuò)展的獨(dú)特學(xué)科。當(dāng)下的平臺(tái)工程師不僅需要管理日益復(fù)雜的云原生環(huán)境，還要為整個(gè)企業(yè)構(gòu)建AI基礎(chǔ)設(shè)施。

Gartner指出，到2026年，80%的大型軟件工程組織都將建立起平臺(tái)工程團(tuán)隊(duì)，充分可復(fù)用服務(wù)、組件及應(yīng)用交付工具的內(nèi)部提供方——這一比例顯著高于2022年的45%。到2027年，平臺(tái)工程更將顯著影響基礎(chǔ)設(shè)施與運(yùn)營(yíng)團(tuán)隊(duì)的技術(shù)選型，影響超過(guò)半數(shù)決策。

一路走來(lái)，從DevOps到平臺(tái)工程的演變

DevOps作為一種文化與技術(shù)運(yùn)動(dòng)的產(chǎn)物，旨在打破開發(fā)與運(yùn)營(yíng)團(tuán)隊(duì)之間的隔閡。它奠定了至關(guān)重要的基礎(chǔ)，即建立CI/CD管線、基礎(chǔ)設(shè)施即代碼與責(zé)任共擔(dān)模型。但隨著云原生架構(gòu)的廣泛落地，大規(guī)模分布式系統(tǒng)的管理復(fù)雜性迫使人們進(jìn)行新的專業(yè)化分工。

平臺(tái)工程正是為了應(yīng)對(duì)這種復(fù)雜性而誕生。平臺(tái)團(tuán)隊(duì)不可能指望每位開發(fā)者都成為K8s專家，也不要求每位運(yùn)營(yíng)工程師都了解現(xiàn)代應(yīng)用程序框架間的細(xì)微差別，而是建立抽象層來(lái)簡(jiǎn)化基礎(chǔ)設(shè)施使用。他們建立起內(nèi)部開發(fā)者平臺(tái)，通過(guò)API、接口與自動(dòng)化機(jī)制將復(fù)雜基礎(chǔ)設(shè)施轉(zhuǎn)化為自助功能。

而隨著AI應(yīng)用快速成為主流，新一波需求也隨之而來(lái)。AI工作負(fù)載與傳統(tǒng)應(yīng)用程序有著根本不同，對(duì)于現(xiàn)有平臺(tái)工程實(shí)踐提出了新的要求：

• 統(tǒng)一訪問(wèn)實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)：AI系統(tǒng)，特別是自主決策系統(tǒng)，需要無(wú)縫訪問(wèn)流式數(shù)據(jù)（用于實(shí)時(shí)上下文）及歷史數(shù)據(jù)（用于訓(xùn)練及提取廣泛模式）；
• 跨數(shù)據(jù)域的一致治理：當(dāng)AI系統(tǒng)訪問(wèn)多個(gè)來(lái)源的數(shù)據(jù)時(shí)，權(quán)限、模式或沿襲跟蹤方面的不一致可能導(dǎo)致結(jié)果不可靠或治理失?。?/li>
• 高效數(shù)據(jù)移動(dòng)：將流式基礎(chǔ)設(shè)施與數(shù)據(jù)倉(cāng)庫(kù)彼此分離的傳統(tǒng)架構(gòu)，迫使系統(tǒng)間進(jìn)行持續(xù)且昂貴的數(shù)據(jù)移動(dòng)，由此產(chǎn)生延遲并令成本呈指數(shù)級(jí)增長(zhǎng)；
• 橫向擴(kuò)展以實(shí)現(xiàn)經(jīng)濟(jì)效益的可預(yù)測(cè)性：AI工作負(fù)載往往以難以預(yù)測(cè)的方式急劇擴(kuò)展，因此需要在成本線性增加的前提下對(duì)基礎(chǔ)設(shè)施進(jìn)行橫向擴(kuò)展。

種種因素的疊加，導(dǎo)致平臺(tái)工程師們面臨一個(gè)悖論：如何在保持運(yùn)營(yíng)穩(wěn)定性、治理和成本效率的同時(shí)，快速實(shí)現(xiàn)AI創(chuàng)新。

平臺(tái)工程師的新使命

現(xiàn)代平臺(tái)工程師必須將基礎(chǔ)設(shè)施的復(fù)雜性抽象出來(lái)，轉(zhuǎn)化為精心設(shè)計(jì)的API與自助接口。對(duì)于AI工作負(fù)載而言，這意味著構(gòu)建平臺(tái)，使數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師能夠以編程方式訪問(wèn)具有適當(dāng)計(jì)算資源的訓(xùn)練環(huán)境、針對(duì)延遲或吞吐量進(jìn)行優(yōu)化的推理環(huán)境、跨流式及批量域的統(tǒng)一數(shù)據(jù)訪問(wèn)，同時(shí)提供標(biāo)準(zhǔn)化的可觀察性與監(jiān)控支持。

成功的平臺(tái)團(tuán)隊(duì)?wèi)?yīng)該創(chuàng)造出讓AI開發(fā)者專注于模型和應(yīng)用程序、而非基礎(chǔ)設(shè)施配置的順暢體驗(yàn)。為此，我們最需要關(guān)注的技能包括：

• 數(shù)據(jù)鄰近性設(shè)計(jì)。數(shù)據(jù)鄰近性原則（即立足數(shù)據(jù)所在位置處理數(shù)據(jù)，而非移動(dòng)數(shù)據(jù)）對(duì)于AI基礎(chǔ)設(shè)施至關(guān)重要。平臺(tái)工程師應(yīng)當(dāng)實(shí)現(xiàn)統(tǒng)一的存儲(chǔ)格式，例如Apache Iceberg或Delta Lake，以便在流式與批量工作負(fù)載間無(wú)縫協(xié)作。通過(guò)將云原生對(duì)象存儲(chǔ)作為各種數(shù)據(jù)類型的核心基礎(chǔ)，團(tuán)隊(duì)可以為各類工作流程建立一致的基礎(chǔ)層。這種方法還應(yīng)輔以區(qū)域感知處理能力，以最大限度減少昂貴的跨區(qū)域數(shù)據(jù)傳輸，并配合無(wú)主導(dǎo)架構(gòu)消除昂貴的復(fù)制流量。總之，這些策略能夠?qū)⒒A(chǔ)設(shè)施成本降低一個(gè)數(shù)量級(jí)，同時(shí)提升AI工作負(fù)載性能。
• 統(tǒng)一數(shù)據(jù)治理。對(duì)流式數(shù)據(jù)及歷史數(shù)據(jù)的訪問(wèn)，帶來(lái)了獨(dú)特的治理挑戰(zhàn)。平臺(tái)工程師必須建立統(tǒng)一的目錄和治理機(jī)制，確保所有數(shù)據(jù)源的一致訪問(wèn)控制，同時(shí)提供集中式模式管理與演進(jìn)體系。這些系統(tǒng)應(yīng)在整個(gè)數(shù)據(jù)生命周期內(nèi)保持端到端數(shù)據(jù)沿襲跟蹤及標(biāo)準(zhǔn)化的合規(guī)性與監(jiān)管控制。通過(guò)實(shí)施涵蓋實(shí)時(shí)及批量數(shù)據(jù)域的目錄，平臺(tái)工程師可以顯著降低AI系統(tǒng)的治理失敗風(fēng)險(xiǎn)，同時(shí)簡(jiǎn)化開發(fā)者體驗(yàn)。
• 基礎(chǔ)設(shè)施的自動(dòng)擴(kuò)展與優(yōu)化。AI工作負(fù)載對(duì)于資源需求往往具有不可預(yù)測(cè)性，這要求平臺(tái)團(tuán)隊(duì)建立復(fù)雜的自動(dòng)化體系。高效平臺(tái)應(yīng)將基于實(shí)際資源利用率的彈性擴(kuò)展及資源分配的自動(dòng)優(yōu)化結(jié)合起來(lái)，并將其擴(kuò)展至基于使用量的定價(jià)與計(jì)費(fèi)模型，以便在保持亞當(dāng)性的同時(shí)建立問(wèn)責(zé)制度。此外，基于數(shù)據(jù)局部性的工作負(fù)載智能布局則可確保最佳性能，同時(shí)最大限度減少不必要的數(shù)據(jù)移動(dòng)。這些功能間協(xié)同起效以控制成本，并確保AI應(yīng)用程序在必要時(shí)能夠精準(zhǔn)獲取所需資源、全程無(wú)需人為干預(yù)。
• 促進(jìn)跨職能協(xié)作與技能發(fā)展。更重要的是，平臺(tái)工程師有望彌合可能阻礙AI應(yīng)用的傳統(tǒng)組織孤島，推動(dòng)數(shù)據(jù)工程、機(jī)器學(xué)習(xí)工程和運(yùn)營(yíng)團(tuán)隊(duì)立足統(tǒng)一術(shù)語(yǔ)與協(xié)作實(shí)踐開展合作。成功的平臺(tái)團(tuán)隊(duì)會(huì)跨領(lǐng)域部署通用工具，并設(shè)計(jì)出能夠適應(yīng)不同專業(yè)水平（從新手?jǐn)?shù)據(jù)科學(xué)家到經(jīng)驗(yàn)豐富的機(jī)器學(xué)習(xí)工程師）的平臺(tái)。通過(guò)建立全面的學(xué)習(xí)資源與說(shuō)明文檔，賦能不同背景的開發(fā)人員，最終打造出有利于AI創(chuàng)新蓬勃發(fā)展的內(nèi)部環(huán)境。

面向AI時(shí)代的統(tǒng)一基礎(chǔ)設(shè)施

最具前瞻性的平臺(tái)工程師正逐漸摒棄專為流式傳輸、批量及AI工作負(fù)載使用的獨(dú)立基礎(chǔ)設(shè)施技術(shù)棧。他們開始構(gòu)建統(tǒng)一基礎(chǔ)設(shè)施，結(jié)合通用抽象、存儲(chǔ)格式及治理模型高效處理不同工作負(fù)載。

這種統(tǒng)一方法帶來(lái)了三大關(guān)鍵優(yōu)勢(shì)：

• 大幅降低成本：通過(guò)消除冗余的基礎(chǔ)設(shè)施及昂貴的數(shù)據(jù)移動(dòng)，組織可以將AI基礎(chǔ)設(shè)施的總成本降低達(dá)80%。
• 加速創(chuàng)新：開發(fā)者可以通過(guò)一致接口訪問(wèn)所有數(shù)據(jù)，而無(wú)需等待復(fù)雜的ETL流程，進(jìn)而快速迭代AI應(yīng)用程序。
• 增強(qiáng)治理與合規(guī)：統(tǒng)一方法可在所有數(shù)據(jù)域內(nèi)實(shí)現(xiàn)一致的安全性、隱私性與監(jiān)管控制。

隨著AI成為企業(yè)中的新核心，平臺(tái)工程師們開始掌握AI可持續(xù)應(yīng)用與集成的鑰匙。通過(guò)重構(gòu)新時(shí)代基礎(chǔ)設(shè)施，即優(yōu)先考量數(shù)據(jù)鄰近性、統(tǒng)一治理與開發(fā)者體驗(yàn)，工程師們可以在保障卓越運(yùn)營(yíng)的同時(shí)高效推動(dòng)AI創(chuàng)新。

原文標(biāo)題：Today’s Platform Engineer Needs to Build AI-Ready Infrastructure，作者：Sijie Guo