隨著 AI 應(yīng)用在企業(yè)落地越來越多，開發(fā)者在落地 AI 應(yīng)用時會遇到以下6方面的困難：

1. AI 能力接入與管理

• 能力目錄分散：企業(yè)內(nèi)部的 AI 能力（比如：大模型、Agent、工具等）分散在不同部門和系統(tǒng)中，沒有統(tǒng)一的管理和發(fā)現(xiàn)機制，導(dǎo)致開發(fā)者難以快速找到和使用所需的 AI 能力。
• 上架流程不一致：不同 AI 能力的上架和接入流程各不相同，缺乏標(biāo)準(zhǔn)化的流程和接口，增加了開發(fā)者的接入成本和時間。
• 權(quán)限與配額管理復(fù)雜：企業(yè)內(nèi)部不同角色（比如：開發(fā)者、運營、安全等）對 AI 能力的使用權(quán)限和配額需求不同，但缺乏統(tǒng)一的權(quán)限管理和配額分配機制，導(dǎo)致管理混亂和資源浪費。

2. 開發(fā)與協(xié)作

• 多角色協(xié)作困難：AI 應(yīng)用開發(fā)涉及多個角色（比如：工具提供方、Agent 開發(fā)者、安全合規(guī)人員、財務(wù)運營人員等），但缺乏有效的協(xié)作平臺和工具，導(dǎo)致溝通成本高、協(xié)作效率低。
• 開發(fā)者體驗不佳：缺乏友好的開發(fā)者門戶和工具支持，開發(fā)者在注冊、創(chuàng)建應(yīng)用、獲取憑證、訂閱服務(wù)、測試和監(jiān)控調(diào)用狀態(tài)等方面體驗不佳，影響開發(fā)效率和積極性。

3. 安全與合規(guī)

• 內(nèi)容安全難以落實：AI 應(yīng)用中涉及大量文本、圖像等數(shù)據(jù)的處理，但缺乏統(tǒng)一的內(nèi)容安全策略和檢測機制，難以防止敏感信息（比如：客戶信息、財務(wù)數(shù)據(jù)等）通過 Prompt 被無意或惡意地發(fā)送給外部模型，存在數(shù)據(jù)泄露風(fēng)險。
• 安全治理復(fù)雜：企業(yè)需要在每個獨立的工具服務(wù)上重復(fù)實現(xiàn)和維護復(fù)雜的安全邏輯，比如：認(rèn)證鑒權(quán)、速率限制、審計日志等，增加了安全治理的復(fù)雜性和成本。

4. 運營與成本控制

• 成本計量與分?jǐn)偫щy：AI 應(yīng)用的調(diào)用成本（比如：Token 消耗、計算資源等）難以精確計量和分?jǐn)偟礁鱾€業(yè)務(wù)部門或應(yīng)用，導(dǎo)致成本控制困難，無法為預(yù)算分配和內(nèi)部結(jié)算提供準(zhǔn)確的數(shù)據(jù)支持。
• 資源復(fù)用率低：缺乏有效的資源復(fù)用機制，比如：語義化緩存，導(dǎo)致高頻、相似問題重復(fù)調(diào)用模型，增加了模型調(diào)用成本，降低了響應(yīng)速度。

5. 可觀測性與監(jiān)控

• 缺乏統(tǒng)一的可觀測性：企業(yè)內(nèi)部的 AI 應(yīng)用涉及多個系統(tǒng)和組件，但缺乏統(tǒng)一的可觀測性工具，難以實時監(jiān)控和分析 AI 應(yīng)用的性能、調(diào)用狀態(tài)、成功率等關(guān)鍵指標(biāo)，影響故障排查和性能優(yōu)化。
• 數(shù)據(jù)孤島問題：不同系統(tǒng)和組件的數(shù)據(jù)難以整合和共享，導(dǎo)致開發(fā)者和運營人員難以全面了解AI應(yīng)用的運行情況，影響決策和優(yōu)化。

6. 生態(tài)構(gòu)建與擴展

• 生態(tài)構(gòu)建困難：企業(yè)希望構(gòu)建一個開放的 AI 生態(tài)系統(tǒng)，吸引外部開發(fā)者和合作伙伴，但缺乏有效的平臺和工具來支持生態(tài)的構(gòu)建和擴展，難以形成良好的開發(fā)者社區(qū)和合作伙伴關(guān)系。
• 擴展性不足：現(xiàn)有的 AI 應(yīng)用開發(fā)平臺和工具擴展性不足，難以滿足企業(yè)不斷增長的業(yè)務(wù)需求和 AI 能力的快速迭代，限制了企業(yè)的創(chuàng)新和發(fā)展。

總之，開發(fā)者在開發(fā)企業(yè) AI 應(yīng)用時，面臨的主要困難包括 AI 能力的接入與管理、開發(fā)與協(xié)作、安全與合規(guī)、運營與成本控制、可觀測性與監(jiān)控以及生態(tài)構(gòu)建與擴展等方面。這些問題不僅增加了開發(fā)成本和時間，還影響了企業(yè)的 AI 應(yīng)用落地和生態(tài)構(gòu)建。

HiMarket 正是為了解決這些問題而設(shè)計的，通過提供一個企業(yè)級的 AI 中臺，幫助企業(yè)高效地管理和運營 AI 能力，提升開發(fā)者的體驗和效率，確保安全合規(guī)，優(yōu)化成本控制，并促進生態(tài)的構(gòu)建和擴展。

下文我們詳細剖析之。

一、HiMarket AI 中臺剖析

1、HiMarket 是什么

HiMarket 是 AI 中臺，“企業(yè)級 AI 能力市場 + 開發(fā)者生態(tài)中心”的開源方案：把企業(yè)內(nèi)部的大模型、MCP 工具、Agent 等 AI 資產(chǎn)，像商品一樣上架、售賣、授權(quán)、計量、運營，一步到位。

2、HiMarket 定位

HiMarket 是企業(yè)落地 AI 應(yīng)用的四種場景的統(tǒng)一底座。

第一、企業(yè)內(nèi)部 AI 中臺

所有業(yè)務(wù)線都從這里調(diào)用模型和工具，統(tǒng)一做成本分?jǐn)偂踩弦?guī)、語義緩存。

第二、私有 MCP 市場

圖片

把成百上千的 MCP Server/工具整合為“企業(yè)應(yīng)用商店”，Agent 隨拿隨用，權(quán)限和流量集中治理。

第三、AI 能力貨幣化平臺

把自研模型/Agent/行業(yè)數(shù)據(jù)封裝成 API 產(chǎn)品，對外售賣，自動生成賬單、配額、SDK。

第四、開發(fā)者開發(fā) AI 應(yīng)用非常簡單

開發(fā)者專注于核心業(yè)務(wù)邏輯開發(fā)，包括：

快速集成AI能力：開發(fā)者無需關(guān)心底層 AI 能力的具體接入細節(jié)，可以直接通過 HiMarket 提供的標(biāo)準(zhǔn)化 AP I接口，快速集成所需的 AI 模型、Agent 或工具，專注于實現(xiàn)業(yè)務(wù)邏輯。

• 減少重復(fù)工作：避免從頭開發(fā)和管理復(fù)雜的 API 接入、認(rèn)證、鑒權(quán)等基礎(chǔ)功能，直接利用 HiMarket 提供的成熟框架和工具，節(jié)省時間和精力。

3、HiMarket 核心功能拆解

HiMarket 由三大核心組件構(gòu)成，完美匹配企業(yè)內(nèi)不同角色的需求：

第一、AI 開放平臺管理后臺 (for 管理員/運營)

在這里將底層的模型服務(wù)、MCP Server、Agent 等多樣化的 AI 能力，以 API 的形式輕松打包成標(biāo)準(zhǔn)化的“AI 產(chǎn)品”，并配上完善的文檔、示例，最終一鍵發(fā)布到門戶。

第二、AI 開放平臺門戶 (for 開發(fā)者/企業(yè)內(nèi)部用戶)

門戶是面向內(nèi)外開發(fā)者的“店面”。開發(fā)者可以在此完成開發(fā)者注冊、創(chuàng)建消費者、獲取憑證、瀏覽和訂閱 AI 產(chǎn)品、在線測試，并清晰地監(jiān)控自己的調(diào)用狀態(tài)和成本。

第三、AI 網(wǎng)關(guān)

作為 Higress 社區(qū)的子項目，Higress AI 網(wǎng)關(guān)承載所有 AI 調(diào)用的認(rèn)證、安全、流控、協(xié)議轉(zhuǎn)換以及可觀測性等能力。

二、HiMarket AI 中臺快速實踐

通過簡單4步在本地搞定 HiMarket 部署和運行，具體如下：

第一步：準(zhǔn)備環(huán)境與代碼

確保你已安裝 Git, JDK 8, Maven，Node.js (v20), 并準(zhǔn)備好一個 MySQL 數(shù)據(jù)庫。

git clone https://github.com/higress-group/himarket.git
cd himarket

第二步：啟動后端服務(wù)

HiMarket 后端服務(wù)依賴數(shù)據(jù)庫，請根據(jù)portal-bootstrap/src/main/resources/application.yaml 修改配置，或在啟動時通過參數(shù)傳入。

#打包項目
mvn clean package


#啟動服務(wù)
java -Ddb.host=xxxx.mysql.rds.aliyuncs.com \
     -Ddb.port=3306 \
     -Ddb.name=xxx \
     -Ddb.username=xxx \
     -Ddb.password=xxx \
     -jar portal-bootstrap/target/portal-bootstrap-1.0-SNAPSHOT.jar

第三步：啟動前端

HiMarket 包含管理后臺和開發(fā)者門戶兩個前端。

# 啟動管理后臺
cdportal-web/api-portal-admin
npminstall
npmrundev


# 訪問 http://localhost:5174
# 啟動開發(fā)者門戶
cdportal-web/api-portal-frontend
npminstall
npmrundev


# 訪問 http://localhost:5173

第四步：體驗核心流程

4.1、訪問管理后臺（??localhost:5174??），注冊管理員賬號。

4.2、導(dǎo)入服務(wù)來源

根據(jù)業(yè)務(wù)場景選擇導(dǎo)入MCP Server所在的服務(wù)來源，當(dāng)前支持網(wǎng)關(guān)和新注冊配置中心 Nacos。

    a. 導(dǎo)入網(wǎng)關(guān)實例：在【實例管理】中，導(dǎo)入 Higress 網(wǎng)關(guān)。

    b. 導(dǎo)入 Nacos 實例：在【實例管理】中，導(dǎo)入 Nacos 。

4.3、創(chuàng)建門戶：在【Portal】菜單下，創(chuàng)建一個屬于你的 AI 門戶，并為其綁定一個用于本地測試的域名，如??localhost??

4.4、創(chuàng)建并發(fā)布 AI 產(chǎn)品：在【API Products】中，將一個來自 Higress 的 MCP 服務(wù)封裝成產(chǎn)品，并將其發(fā)布到你剛剛創(chuàng)建的門戶。

4.5、切換到開發(fā)者門戶（??localhost:5173??），注冊一個開發(fā)者賬號，并等待管理員在后臺審批通過。

4.6、訂閱并調(diào)用：登錄開發(fā)者門戶，你會看到剛才發(fā)布的 AI 產(chǎn)品。創(chuàng)建一個消費者(Consumer)來獲取憑證，然后訂閱該產(chǎn)品，即可開始調(diào)用！

Github 地址：??https://github.com/higress-group/himarket??

好了，這就是我今天想分享的內(nèi)容。

本文轉(zhuǎn)載自???玄姐聊AGI??  作者：玄姐