火山引擎剛剛交出大模型趨勢答卷：

火山方舟，一個大模型服務(wù)平臺。

它將國內(nèi)多個明星大模型放在平臺上，如MiniMax、智譜AI、復(fù)旦MOSS、百川智能、IDEA、瀾舟科技、出門問問等。

不僅為大模型玩家提供訓(xùn)練、推理、評測、精調(diào)等功能與服務(wù)，后續(xù)還提供運營、應(yīng)用插件等工具，進一步支撐大模型生態(tài)。

總之，就是要為大模型，打造一個超強底座。

而透過火山方舟，火山引擎如何看待大模型趨勢？想做哪些事？如今也有了更明確的答案。

火山方舟是什么？

簡單理解，各種大模型平臺都好比自營商鋪，向行業(yè)用戶售賣大模型服務(wù)。

不過火山方舟想做的不是自家專賣店，而是一個集合了多家大模型旗艦店的商城。

在這個商城里，行業(yè)用戶可以快速觸及到業(yè)界優(yōu)質(zhì)的大模型，基于火山引擎的能力對模型精調(diào)推理，降低大模型使用門檻。

大模型玩家能基于火山引擎搭建穩(wěn)健的大模型基礎(chǔ)設(shè)施，提升自家模型業(yè)務(wù)能力，觸及到更加直接和廣泛的行業(yè)需求，加速迭代升級。

火山方舟作為連接二者的平臺，則負(fù)責(zé)提供豐富完善的開發(fā)工具、充沛算力、安全互信的平臺以及企業(yè)服務(wù)等，讓雙方的合作更加絲滑。

重點功能包括6個方面，貫穿了大模型采購使用的全流程：

第一是模型廣場

這可以理解為模型提供方和使用方初步了解的一個平臺，大模型廠商能在此進行模型創(chuàng)建、上傳、部署等操作，下游用戶能看到模型效果并快捷體驗。

第二是模型推理

當(dāng)用戶選定好模型后，火山引擎可提供安全互信的推理方案，既保障模型提供方的知識產(chǎn)權(quán)安全，同時也維護使用者的數(shù)據(jù)信息安全。用戶能直接使用已部署的在線服務(wù)，或者將精調(diào)模型部署為在線任務(wù)。

第三是模型精調(diào)

對于大部分行業(yè)用戶來說，通用大模型只是基礎(chǔ)能力，想要使用更優(yōu)質(zhì)的大模型服務(wù)可能都需要基于自家數(shù)據(jù)進行持續(xù)訓(xùn)練或精調(diào)。

火山方舟能提供極簡精調(diào)流程，只需兩步即可一鍵精調(diào)：選擇基礎(chǔ)模型→上傳標(biāo)注數(shù)據(jù)集。對于有復(fù)雜需求的場景，還能進一步設(shè)置高級參數(shù)、驗證集、測試集等更豐富的功能。

第四是模型評測。

生成式大模型目前還很難形成一個業(yè)界公認(rèn)的benchmark，應(yīng)用場景、數(shù)據(jù)等因素都會影響它的表現(xiàn)。但對于行業(yè)用戶來說，明晰不同大模型的優(yōu)劣勢是購買服務(wù)前至關(guān)重要的一步。

所以火山方舟同步推出了評測工具，支持用戶基于自身數(shù)據(jù)、系統(tǒng)化地感知模型表現(xiàn)情況，并且給出詳細的測評報告，為后續(xù)做決策提供數(shù)據(jù)基礎(chǔ)。

要知道，B端的使用場景也是“千人千面”的，企業(yè)要用自己的評測數(shù)據(jù)試一試，才能給出符合自身要求的準(zhǔn)確評估。此外，基礎(chǔ)模型的升級，新技術(shù)新模型的涌現(xiàn)，還將持續(xù)很長一段時間。企業(yè)需要不斷測試對比、緊跟發(fā)展。

第五是運營干預(yù)

通過提供運營干預(yù)工具，用戶可以快速設(shè)置相關(guān)規(guī)則，這樣在模型已經(jīng)投入使用后，無需精調(diào)模型即可干預(yù)模型輸出結(jié)果。

第六是應(yīng)用插件

目前大模型接入插件功能是大勢所趨，能進一步發(fā)揮模型能力。未來在火山方舟上，能看到實時信息獲取（通常說的“聯(lián)網(wǎng)”）*、私域文檔問答召回、Prompt補全與構(gòu)建等。

透過以上重點功能，不難看出火山引擎對于當(dāng)下云計算趨勢的理解——盡可能加速大模型應(yīng)用落地。

而且在具體實現(xiàn)路徑上，火山引擎還給出了一種別樣的打法，并且形成了鮮明的自身特點。

火山引擎智能算法負(fù)責(zé)人吳迪給出了三個關(guān)鍵詞來總結(jié)：

開放、加速、信任。

所以火山方舟有何不同？

開放、加速、信任，三個關(guān)鍵詞一一對應(yīng)，其實代表火山方舟的自身定位、算力和安全。

首先來看自身定位上，火山方舟是個開放、中立的平臺，企業(yè)客戶可以根據(jù)實際效果自由選擇模型。

對于云廠商而言，想要做好MaaS服務(wù)，核心之一肯定是模型層要夠豐富、夠強大。因為這意味著能在更豐富的應(yīng)用場景中落地。

此前不少人將這一問題的解決，局限在了云廠商自家大模型能力提升上。

隨著亞馬遜云推出大模型平臺Bedrock，一次接入Stability AI、Anthropic等多家大模型能力，給行業(yè)內(nèi)開啟了一種新范式。

這樣一來，平臺能直接引入業(yè)內(nèi)最優(yōu)秀的大模型，豐富自身能力和應(yīng)用場景。

火山方舟的路徑亦是如此，納入更多大模型也讓它具備更高的靈活性。

吳迪介紹，這樣一來用戶能夠根據(jù)不同任務(wù)需求“貨比三家”，接觸到更多行業(yè)先進大模型。

通過提供統(tǒng)一的workflow，火山方舟能夠?qū)崿F(xiàn)模型之間的靈活插拔。在多模型切換下，工作流基本不改變，讓各個模型完成自己擅長的任務(wù)，加速大模型的開發(fā)構(gòu)建應(yīng)用。

其次，火山引擎重點關(guān)注了大模型玩家們焦慮的算力問題。主打一個夠用、實惠且穩(wěn)定。

火山引擎的海量資源池，能夠滿足當(dāng)下大模型訓(xùn)練推理的需求。

而通過加速訓(xùn)練和推理，能讓算力的性價比更高。

NVIDIA開發(fā)與技術(shù)部亞太區(qū)總經(jīng)理李曦鵬表示，如果想要硬件充分發(fā)揮性能，需要軟硬件協(xié)同設(shè)計。

硬件方面，NVIDIA針對生成式AI的不同硬件配置與火山引擎底層平臺深度結(jié)合。

在軟件層面也提出了多種優(yōu)化方法，雙方一起做了很多開源發(fā)布，以圖像預(yù)處理算子庫CV-CUDA為例。它們能高效地運行在GPU上，算子速度達到OpenCV（運行在CPU）的百倍左右。如果用CV-CUDA作為后端替換OpenCV和TorchVision，整個推理的吞吐量能提升至原來的二十多倍，算子輸入結(jié)果上CV-CUDA與OpenCV完全對齊。

此外，火山引擎還推出了Lego算子優(yōu)化。

這一框架可以根據(jù)模型子圖的結(jié)構(gòu)，采用火山引擎自研高性能算子，實現(xiàn)更高的加速比。

在推理場景下，使用Lego算子優(yōu)化，可以將基于Stable Diffusion模型的端到端推理速度提升至66.14 it/s，是PyTorch推理速度的3.47倍，運行時GPU顯存占用量降低60%。在訓(xùn)練場景下，在128張A100上跑15天，模型即可訓(xùn)練完成，比當(dāng)時最好的開源版本快40%。

而在穩(wěn)定性方面，火山引擎也和英偉達做了更底層的合作。

李曦鵬介紹，目前大模型訓(xùn)練往往需要幾千、上萬張卡同時啟動，如果其中某臺機器出現(xiàn)故障，則會導(dǎo)致整個訓(xùn)練過程被影響。因此訓(xùn)練過程中的穩(wěn)定性非常關(guān)鍵，它將直接影響開發(fā)效率。

在這方面，火山引擎和英偉達基于內(nèi)部大量測試，最終實現(xiàn)了特定模型的規(guī)模、網(wǎng)絡(luò)結(jié)構(gòu)等，確定合適的checkpointing頻率，在保障訓(xùn)練連續(xù)性的同時又讓機器能夠穩(wěn)定運行。

具體能力也已有實際案例驗證

大模型玩家MiniMax基于火山引擎，研發(fā)了超大規(guī)模的大模型訓(xùn)練平臺，高效支撐著三個模態(tài)大模型每天數(shù)千卡以上的常態(tài)化穩(wěn)定訓(xùn)練。在并行訓(xùn)練上實現(xiàn)了99.9%以上的可用性。除了訓(xùn)練以外，MiniMax也同步自研了超大規(guī)模的推理平臺,目前擁有近萬卡級別的GPU算力池，穩(wěn)定支撐著每天上億次的大模型推理調(diào)用。MiniMax和火山引擎一起為大模型訓(xùn)練搭建了高性能計算集群，一起致力于提升大模型訓(xùn)練的穩(wěn)定性，保證了超千卡訓(xùn)練的任務(wù)穩(wěn)定運行數(shù)周以上。

穩(wěn)健的大模型基礎(chǔ)設(shè)施讓MiniMax從零開始自主完整地跑通了大模型與用戶交互的迭代閉環(huán)，實現(xiàn)從月至周級別的大模型迭代速度，和指數(shù)級的用戶交互增長。MiniMax面向企業(yè)級的大模型解決方案目前已接入數(shù)百家企業(yè)客戶，打通辦公協(xié)作、智能硬件、教育、醫(yī)療、客服等十余個行業(yè)場景。

然后是能力輸出上，火山引擎提出訓(xùn)推一體以及統(tǒng)一workflow

統(tǒng)一workflow的能力不僅在于模型的靈活插拔，它還集成了火山引擎對大模型能力的理解。

比如如何做自動評估？pipeline怎么定？該做多少精調(diào)？這些問題都是需要經(jīng)過大量開發(fā)工作后，才能輸出的經(jīng)驗。通過這些細節(jié)上的保駕護航，企業(yè)用戶落地大模型的效率和成功率都會有明顯提升。

另一邊，火山方舟也重點提出了訓(xùn)推一體的理念。

吳迪表示，基于對行業(yè)的觀察，他相信未來大模型領(lǐng)域的頭部及腰部廠商都會使用“1+n模式”，也就是自研或深度合作一個主力大模型、同時調(diào)用多個外部模型，對訓(xùn)練和推理都有需求。

加之火山引擎始終認(rèn)為深度學(xué)習(xí)、機器學(xué)習(xí)是一件統(tǒng)一、緊湊且純粹的事情，所以他們判斷訓(xùn)推一體模式會是發(fā)展趨勢，并已在火山方舟上推出。

而且訓(xùn)推一體化后，同樣能為企業(yè)節(jié)省算力。

最后再來看安全方面，這也是火山方舟著重強調(diào)的部分

吳迪表示，在大模型時代，信任問題至關(guān)重要。

大模型提供方不希望自己辛苦訓(xùn)練出的模型被人拷貝走，這屬于重要知識產(chǎn)權(quán)；下游客戶不希望自己的數(shù)據(jù)在推理和精調(diào)過程中不被泄露，敏感數(shù)據(jù)只有自己可見。

在這二者之間，便會形成一個信任的gap。尤其是當(dāng)下大模型服務(wù)中的合作方眾多，構(gòu)筑信任墻就顯得至關(guān)重要。而火山引擎作為云平臺，會通過互信計算框架，基于不同客戶的安全和隱私保護訴求，提供了包括安全沙箱、可信硬件以及聯(lián)邦學(xué)習(xí)方案，來保證大家在互信的基礎(chǔ)上推理、精調(diào)等。

以上三個方面，將火山引擎在云市場中的差異勾勒清晰。

從中也可看出，火山引擎的技術(shù)積累、行業(yè)經(jīng)驗和趨勢理解，都為它入局大模型平臺提供了堅實的保障。

那么，為什么火山引擎的答卷是火山方舟？

為什么是火山方舟？

直接原因來自于市場需求。

大模型趨勢轟轟烈烈演進幾個月，幾乎觸及到了各行各業(yè)，相應(yīng)的需求也隨之暴漲。

但對于行業(yè)用戶來說，怎么觸及市面上最先進的模型？怎么選擇最適合自己的模型？怎么確定最后的大模型服務(wù)方案？這些問題對企業(yè)自身的技術(shù)理解程度、開發(fā)水平都提出了要求。

作為供給側(cè)，大模型玩家也急于在熱潮下快速推進自家業(yè)務(wù)發(fā)展。這不僅是一場技術(shù)競賽，同時也是一場商業(yè)競速賽，誰能更快觸及更多用戶，就會在市場中更快站住腳跟。在這種情況下，平臺的觸達能力一定大于廠商自身。

以及底層硬件廠商，同樣也迫切需要大模型底座

NVIDIA開發(fā)與技術(shù)部亞太區(qū)總經(jīng)理李曦鵬表示，英偉達開發(fā)每一款新產(chǎn)品，都是以workload來驅(qū)動，所有開發(fā)都是要解決真實存在的問題。

比如隨著深度學(xué)習(xí)的興起，用Tensor Core加速矩陣乘法計算，就是在原有框架下針對workload的重點模塊做效率提升。

再比如英偉達去年發(fā)布的Hopper架構(gòu)，設(shè)計遠早于發(fā)布時間。當(dāng)時GPT-3才剛剛問世，大模型趨勢遠沒有到來，英偉達是做了大量前瞻性的研究。而怎么做出這種前瞻性的探索，就是要從實際應(yīng)用的基礎(chǔ)結(jié)構(gòu)中去發(fā)現(xiàn)問題。

回到當(dāng)下來看，對于未來AI的趨勢是否朝著GPT趨勢發(fā)展，李曦鵬表示現(xiàn)在也無法確定，但是行業(yè)中的實際需求能夠推動英偉達做出更有針對性的硬件和軟件特性升級。

怎么更快、更準(zhǔn)確把握住這些需求？還是要依托平臺連接大模型玩家。

所以，像火山方舟這樣承載著大模型供給方、使用方以及底層硬件廠商的平臺，是行業(yè)迫切需求的。

而更深層的原因，還來自火山引擎自身

吳迪很確定地說，火山方舟的使命，是加速大模型、大算力應(yīng)用落地。

為什么要加速？兩條增長曲線可以給出答案。

在以時間為橫軸、GPU需求量為縱軸的坐標(biāo)系里，首先出現(xiàn)當(dāng)下的第一條增長曲線：模型訓(xùn)練曲線。

現(xiàn)在新興的大模型正如雨后春筍般冒出，訓(xùn)練需求量飆升。但隨著通用大模型市場趨于飽和，這條增長曲線也會逐漸放緩。

與此同時，還有一條增長曲線出現(xiàn)：推理需求曲線（模型應(yīng)用曲線）。

而且它將在短期內(nèi)呈指數(shù)增長趨勢，在2025年左右和訓(xùn)練需求曲線相交，并在之后反超。

也就是說，市場上的推理需求量，最終一定會大于訓(xùn)練需求量。因為推理需求多大，代表了應(yīng)用場景有多豐富。

如果應(yīng)用場景的豐富度不夠高，導(dǎo)致推理需求曲線沒有快速升起，訓(xùn)練需求曲線同樣也會受到影響滑落。

一旦出現(xiàn)這一局面，將意味著目前諸多投身大模型浪潮的創(chuàng)業(yè)者和企業(yè)，將會面臨非常艱難的局面。

吳迪表示，火山引擎深信大模型趨勢不是一次簡單的浪潮，它將是新技術(shù)時代的一扇窗。如果想要加速這個時代更快到來，那么就要盡可能縮短推理需求超過訓(xùn)練需求的時間軸。

也就是加速大模型的應(yīng)用落地。

火山方舟同時連接下游應(yīng)用層和上游模型層、硬件層，加速企業(yè)用戶使用大模型，在營收上更快去回報大模型領(lǐng)域創(chuàng)業(yè)者，以此形成一個加速正向循環(huán)。

而這也是為什么火山引擎要將自家大模型平臺取名為“方舟”。

吳迪說，在想名字的時候，他們希望能有一個詞來形容開放包容、生機勃勃、充滿希望的意境。

最終在幾十個詞中確定了方舟。因為它能代表兩方面寓意。

第一，承載著很多人的事業(yè)和夢想，共同駛向一個成功的遠方，而且是一個具象的詞；

第二，火山引擎相信整個大模型、大算力領(lǐng)域，需要眾多合作伙伴在模型訓(xùn)練、內(nèi)容安全、硬件優(yōu)化等方面共同努力；

如今，方舟帶著火山引擎的技術(shù)積累、行業(yè)理解以及美好愿景，正式啟航。

未來大模型浪潮將會如何翻涌，還是未知數(shù)。

但載著眾多國產(chǎn)大模型玩家、攜手英偉達的火山方舟，一定會帶著火山引擎駛向新的節(jié)點。