實施需要周密的計劃、資源管理以及采用現(xiàn)代部署實踐和工具。

譯自A Guide to Model Composition，作者 Sherlock Xu。

考慮一款旨在識別和分類野生動物照片的 AI 驅動的圖像識別應用程序。您上傳一張遠足時拍攝的照片，幾分鐘后，該應用程序不僅識別出照片中的動物，還提供了有關其物種、棲息地和保護狀態(tài)的詳細信息。這種應用程序可以通過模型組合構建，這是一種多個人工智能模型協(xié)作從不同角度分析和解釋圖像的技術。

在此背景下，模型組合可能涉及一系列專門的模型：一個用于檢測圖像中的動物，另一個用于將其分類為廣泛的類別（例如，鳥類、哺乳動物和爬行動物），還有一組模型共同確定具體物種。這種分層方法提供了細致入微的分析，超出了單個 AI 模型的能力。

什么是模型組合？

從本質上講，模型組合是一種機器學習策略，它結合了多個模型來解決一個復雜的難題，而單個模型無法輕松解決。這種方法利用了每個單獨模型的優(yōu)勢，提供了更細致入微的分析和更高的準確性。模型組合可以看作是組建一個專家團隊，每個成員都將專門的知識和技能帶到談判桌上，共同努力實現(xiàn)一個共同的目標。

許多現(xiàn)實世界的問題對于一刀切的模型來說過于復雜。通過協(xié)調多個模型，每個模型都經(jīng)過訓練來處理問題或數(shù)據(jù)類型的特定方面，我們可以創(chuàng)建一個更全面、更有效的解決方案。

有幾種方法可以實現(xiàn)模型組合，包括但不限于：

• 順序處理：模型按流水線排列，其中一個模型的輸出作為下一個模型的輸入。這通常用于數(shù)據(jù)預處理、特征提取，然后是分類或預測等任務。
• 并行處理：多個模型并行運行，每個模型獨立處理相同的輸入。然后通過平均、投票或更復雜的聚合模型將它們的輸出組合起來，以產(chǎn)生最終結果。這通常用于集成方法。

與模型組合相關的另一個重要概念是推理圖。推理圖直觀地表示了數(shù)據(jù)通過各種模型和處理步驟在模型組合系統(tǒng)中的流程。它概述了模型如何連接、它們之間的依賴關系以及數(shù)據(jù)如何從輸入轉換并流向最終預測。圖形表示有助于我們設計、實現(xiàn)和理解復雜的模型組合。以下是一個推理圖示例：

圖片

1. 該服務接受文本輸入，例如“我有一個主意！”
2. 該服務同時將提示發(fā)送給三個單獨的文本生成模型，這些模型并行運行以使用不同的算法或數(shù)據(jù)集生成結果。
3. 然后將這三個模型的結果發(fā)送到文本分類模型。
4. 分類模型評估每段生成文本并為其分配分類分數(shù)（例如，基于內容的情緒）。
5. 最后，該服務聚合生成的文本及其各自的分類分數(shù)，并以 JSON 形式返回它們。

我應該在什么時候組合模型？

模型組合是機器學習中廣泛挑戰(zhàn)的實用解決方案。以下是一些模型組合發(fā)揮關鍵作用的關鍵用例。

多模態(tài)應用程序

在當今的數(shù)字世界中，數(shù)據(jù)以各種形式出現(xiàn)：文本、圖像、音頻等等。多模態(tài)應用程序結合了專門處理不同類型數(shù)據(jù)的模型。一個典型的組合模型來創(chuàng)建多模態(tài)應用程序的例子是BLIP-2，它專為涉及文本和圖像的任務而設計。

BLIP2 集成了三個不同的模型，每個模型都為系統(tǒng)提供了獨特的功能：

• 一個凍結大型語言模型(LLM)：提供強大的語言生成和零樣本遷移能力。
• 一個凍結的預訓練圖像編碼器：從圖像中提取和編碼視覺信息。
• 輕量級查詢轉換器模型 (Q-Former)：彌合 LLM 和圖像編碼器之間的模態(tài)差距。它將來自編碼器的視覺信息與 LLM 集成在一起，重點關注生成文本的最相關的視覺細節(jié)。

BLIP-2 架構。來源：原始 BLIP-2 論文

集成建模

集成建模是一種用于提高機器學習模型預測精度的技術。它通過結合多個模型的預測來產(chǎn)生一個更準確的單一結果。其核心思想是，通過聚合多個模型的預測，通?？梢詫崿F(xiàn)比任何單個模型單獨實現(xiàn)更好的性能。集成中的模型可以是同類型的（例如，所有決策樹），也可以是不同類型的（例如，神經(jīng)網(wǎng)絡、決策樹和邏輯回歸模型的組合）。集成建模中的關鍵技術包括：

• Bagging：在訓練數(shù)據(jù)的不同子集上訓練多個模型，然后對它們的預測進行平均。這有助于減少方差。
• Boosting：順序訓練模型，其中每個模型都嘗試糾正前一個模型所犯的錯誤。
• Stacking：訓練多個模型，然后使用一個更好的模型，該模型利用每個基礎模型的優(yōu)勢來提高整體性能并結合它們的預測。

集成建模的一個實際用例是天氣預報系統(tǒng)，其中準確性對于各行業(yè)和活動中的規(guī)劃和安全至關重要。天氣預報的集成模型可能會整合來自各種模型的輸出，每個模型都在不同的數(shù)據(jù)集上進行訓練，使用不同的算法或關注天氣現(xiàn)象的不同方面。一些模型可能更擅長預測降水，而另一些模型則在預測溫度或風速方面表現(xiàn)得更好。通過聚合這些預測，集成方法可以提供更準確、更細致的預測。

流水線處理

機器學習任務通常需要一系列處理步驟，將原始數(shù)據(jù)轉換為可操作的見解。實現(xiàn)模型組合可以幫助你將這些任務構建為流水線，其中每一步都由針對特定功能進行優(yōu)化的不同模型處理。

常見用例之一是自動文檔分析系統(tǒng)，它能夠處理、理解和從文檔中提取有意義的信息。該系統(tǒng)可能使用一系列模型，每個模型都專門用于處理流水線中的一個階段：

• 預處理：第一步可能需要一個 OCR（光學字符識別）模型，該模型從掃描的文檔或圖像中提取文本。此模型專門用于識別和將各種字體和手寫體轉換為機器可讀文本。
• 預測：在文本提取之后，可以使用文本分類模型根據(jù)其內容對文檔進行分類，例如法律文件、技術手冊或財務報告。此分類步驟對于將文檔路由到適當?shù)南掠瘟鞒谭浅Ｖ匾?/li>
• 后處理：在分類之后，可以使用摘要模型生成文檔內容的簡潔摘要。此摘要提供了對文檔的快速見解，為決策和優(yōu)先級排序提供信息。

除了順序流水線之外，你還可以實現(xiàn)并行處理，以便多個模型在相同數(shù)據(jù)上同時運行（如第一張圖片所示）。這在以下場景中很有用：

• 集成建模：聚合來自多個模型的預測以提高準確性。
• 計算機視覺任務：圖像分割和對象檢測模型可以并行運行，以提供對圖像的全面分析，將對圖像結構的見解與對特定對象的識別相結合。

模型組合有哪些好處？

模型組合提供了許多操作和開發(fā)優(yōu)勢。以下是一些主要好處：

提高準確性和性能

在某些情況下，多個模型協(xié)同工作的協(xié)同作用可以提高準確性和性能。組合中的每個模型可能專注于問題的特定方面，例如不同的數(shù)據(jù)類型或數(shù)據(jù)的特定特征，確保組合系統(tǒng)涵蓋比任何單個模型更多的整個問題空間。在集成建模中尤其如此，因為聚合來自多個模型的結果可以幫助消除它們的個體偏差和錯誤，從而產(chǎn)生更準確的預測。

專用基礎設施和資源分配

模型組合允許你在各種硬件設備上部署所涉及的模型，優(yōu)化計算資源的使用?？梢愿鶕?jù)它們的處理需求和資源可用性將它們分配到最合適的基礎設施上——無論是 CPU、GPU 還是邊緣設備。這種專用分配還確?？梢詥为殧U展系統(tǒng)的每個部分。

定制和靈活性

模型組合允許你根據(jù)特定需求定制和調整系統(tǒng)。你可以選擇最適合特定任務的模型，并根據(jù)需要輕松添加或刪除模型。這種靈活性使你可以快速適應不斷變化的業(yè)務需求和數(shù)據(jù)可用性。

模型組合最顯著的優(yōu)勢之一是它提供的靈活性。模型可以在系統(tǒng)內輕松添加、移除或替換，使開發(fā)人員能夠隨著新技術的出現(xiàn)或需求的變化來調整和演進他們的應用程序。這種模塊化方法簡化了更新和維護，確保系統(tǒng)能夠快速適應新的挑戰(zhàn)和機遇。

更快的開發(fā)和迭代

模型組合支持并行開發(fā)工作流，允許團隊同時處理系統(tǒng)中的不同模型或組件。這有助于加速開發(fā)過程，這意味著更快的迭代和更迅速的原型制作。它還使團隊能夠對反饋和不斷變化的需求做出更敏捷的響應，因為可以優(yōu)化或替換各個模型，而不會中斷整個系統(tǒng)。

資源優(yōu)化

通過在多個模型之間智能地分配工作負載，每個模型針對特定任務或硬件進行優(yōu)化，您可以最大化資源利用率。這種優(yōu)化可以帶來更有效的處理、更低的延遲和更低的運營成本，尤其是在需要大量計算能力的復雜應用程序中。有效的資源優(yōu)化還意味著您的應用程序可以更平穩(wěn)地擴展，以適應數(shù)據(jù)量或用戶需求的增長。

使用 BentoML 組合多個模型

不同的模型服務或模型部署框架可能會采用不同的模型組合方法。在這方面，BentoML作為一個開源模型服務框架，提供了簡單的服務 API 來幫助您封裝模型、建立服務間通信并將組合模型公開為 REST API 端點。

下面的代碼示例演示了如何使用 BentoML 組合多個模型。在 BentoML 中，每個服務都被定義為一個 Python 類。您可以使用@bentoml.service裝飾器將其標記為服務并為其分配 CPU 或 GPU 資源。當您將其部署到BentoCloud時，不同的服務可以在專用的實例類型上運行，并且可以單獨擴展。

圖片

在此 BentoMLservice.py文件中，GPT2 和 DistilGPT2 被初始化為單獨的 BentoML 服務以生成文本。然后，BertBaseUncased 服務獲取生成的文本并對其進行分類，提供表示情緒的分數(shù)。InferenceGraph服務協(xié)調這些單獨的服務，使用asyncio.gather從兩個 GPT-2 模型同時生成文本，然后使用 BERT 模型對輸出進行分類。

在部署到 BentoCloud 后，服務可以在單獨的實例類型上運行，如下所示：

圖片

監(jiān)控性能：

圖片

有關詳細說明，請參閱此示例項目。

常見問題

在結束之前，讓我們看看有關模型組合的一些常見問題。

集成建模和多模態(tài)應用程序之間有什么區(qū)別？

這兩個機器學習概念服務于不同的目的，并應用于不同的環(huán)境。

• 目的和應用：集成建模通過組合多個模型來提高預測準確性。多模態(tài)應用程序集成和解釋來自多個來源或類型的的數(shù)據(jù)，以做出更好的決策或預測。
• 模型與數(shù)據(jù)：集成建模專注于使用多個模型來增強預測。多模態(tài)應用程序專注于集成不同類型的數(shù)據(jù)（例如，文本、圖像、音頻）。
• 實現(xiàn)：多模態(tài)系統(tǒng)通常需要數(shù)據(jù)預處理和特征提取技術來有效處理不同類型的數(shù)據(jù)。另一方面，集成建模需要結合模型預測的策略，這可能涉及直接平均或更復雜的投票系統(tǒng)。

我在應用程序中使用單個模型。我應該轉向多模型嗎？

重要的是要注意，雖然模型組合提供了如上所述的不同好處，但它并不總是必要的。如果單個模型可以有效且準確地完成手頭任務，我建議您堅持使用它。組合多個模型的決策和處理流水線的設計應根據(jù)您的具體要求進行指導。

模型組合如何影響生產(chǎn)部署？

集成多個模型會增加生產(chǎn)部署的復雜性。您需要考慮以下因素：

復雜性增加

• 配置和管理：組合中的每個模型可能需要其配置、依賴項和環(huán)境。在多個模型中管理這些內容會增加部署過程的復雜性。
• 服務編排：組合多個模型通常需要仔細編排，以確保數(shù)據(jù)在模型之間正確流動，并且每個模型按要求以正確的順序或并行執(zhí)行。

資源分配

• 硬件要求：如上所述，不同的模型可能具有不同的硬件要求。一些模型可能需要 GPU 進行推理，而另一些模型可以在 CPU 上運行。您選擇的提供和部署框架應支持靈活的資源分配，以滿足您的需求。
• 擴展策略：在生產(chǎn)中擴展多個模型可能不像擴展單個模型那樣簡單。應用程序的不同組件可能具有不同的負載，需要動態(tài)擴展策略，該策略可以根據(jù)需求調整各個模型的資源。

監(jiān)控和維護

• 監(jiān)控：跟蹤生產(chǎn)中不同模型的性能和運行狀況需要全面的監(jiān)控解決方案，這些解決方案可以提供對每個模型的性能、資源使用情況和潛在瓶頸的見解。
• 版本控制和更新：更新復合應用程序中的一個模型可能會對其他模型產(chǎn)生級聯(lián)影響。必須制定適當?shù)陌姹究刂坪蜏y試策略，以便在不中斷應用程序整體性能的情況下管理更新。

部署策略

• 微服務架構：采用微服務架構可以通過將每個模型封裝為一個單獨的服務來簡化多個模型的部署。這種方法簡化了擴展、更新和管理，但需要靈活的服務編排工具。
• 容器化：使用容器部署 AI 模型可以幫助管理每個模型的依賴項和環(huán)境。容器編排工具（如 Kubernetes）可以幫助管理容器化模型的部署、擴展和網(wǎng)絡。

模型組合可以通過需要更多資源和更復雜的部署策略來影響部署。但是，如上例所示，BentoML 和 BentoCloud 等平臺可以通過允許開發(fā)人員高效地打包、部署和擴展多模型服務，幫助開發(fā)人員構建多個模型的 AI 應用程序。

最后的想法

雖然模型組合的好處很明顯，從增強的性能到處理多種數(shù)據(jù)類型的能力，但重要的是要認識到它帶來的復雜性，尤其是與生產(chǎn)部署相關的復雜性。成功的實施需要仔細規(guī)劃、資源管理以及采用現(xiàn)代部署實踐和工具來應對配置、擴展和維護方面的挑戰(zhàn)。