7月11日，網(wǎng)宿科技宣布推出一項(xiàng)全新的AI服務(wù)——邊緣AI網(wǎng)關(guān)，為企業(yè)用戶(hù)提供安全、可靠、高性能、易觀(guān)察的一體化模型服務(wù)管理方案，助力開(kāi)發(fā)者的AI構(gòu)建之旅。

網(wǎng)宿科技CDN產(chǎn)品研發(fā)總監(jiān)曾智全表示，AI已經(jīng)成為新一輪創(chuàng)新的焦點(diǎn)，很多企業(yè)都想要使用AI，但缺乏相關(guān)的技術(shù)或經(jīng)驗(yàn)，網(wǎng)宿在業(yè)內(nèi)率先推出邊緣AI網(wǎng)關(guān)，希望幫助企業(yè)更好、更簡(jiǎn)單、更安全地應(yīng)用AI。

據(jù)悉，網(wǎng)宿邊緣AI網(wǎng)關(guān)旨在為企業(yè)在模型服務(wù)與AI應(yīng)用之間搭建橋梁，無(wú)論是個(gè)人開(kāi)發(fā)者還是企業(yè)，都可以借助網(wǎng)宿邊緣AI網(wǎng)關(guān)，更加簡(jiǎn)易地管理和集成模型服務(wù)，從而更好地開(kāi)展AI應(yīng)用創(chuàng)新。

大模型服務(wù)面臨管理、成本與安全挑戰(zhàn)

近年來(lái)，GPT大模型的橫空出世，在全球掀起了大模型競(jìng)賽，隨之而來(lái)的，AI在各行各業(yè)的應(yīng)用加速涌現(xiàn)。如今，在應(yīng)用程序開(kāi)發(fā)中，集成大模型已經(jīng)成為提升應(yīng)用體驗(yàn)和功能深度的普遍趨勢(shì)。

在這種背景下，業(yè)界誕生了一種新的服務(wù)模式，即MaaS（Model as a Service，模型即服務(wù)）。模型提供商通過(guò)API接口，將大模型能力出租給第三方企業(yè)使用，允許企業(yè)通過(guò)HTTP請(qǐng)求或其他方式與之交互。服務(wù)提供商負(fù)責(zé)模型的更新和維護(hù)，企業(yè)可以直接享受到最新的模型改進(jìn)。

不過(guò)，當(dāng)企業(yè)使用多個(gè)模型或提供商時(shí)，面臨著高昂的AI應(yīng)用成本。而為了最優(yōu)成本地利用各個(gè)AI服務(wù)商的模型服務(wù)，企業(yè)又面臨著管理、運(yùn)維難題。如何更好的管控模型使用，降低成本支出，同時(shí)清晰地洞察AI使用現(xiàn)狀和服務(wù)問(wèn)題，成為各個(gè)企業(yè)構(gòu)建AI應(yīng)用的內(nèi)在訴求。

另外，需要注意的是，在使用模型服務(wù)的過(guò)程中，企業(yè)還面臨著敏感數(shù)據(jù)泄露、內(nèi)容不合規(guī)等風(fēng)險(xiǎn)。目前，大多企業(yè)組織還未著手解決AI相關(guān)風(fēng)險(xiǎn)，或是正在解決中。

“針對(duì)以上種種挑戰(zhàn)，業(yè)界亟需一種可以降低管理和擴(kuò)展模型服務(wù)難度，提升AI可用性和安全性的方案。網(wǎng)宿邊緣AI網(wǎng)關(guān)可以解決這一需求，讓企業(yè)和開(kāi)發(fā)人員專(zhuān)注于構(gòu)建AI應(yīng)用程序，而不是管理復(fù)雜的集成?！?曾智全表示。

網(wǎng)宿邊緣AI網(wǎng)關(guān)，多模型服務(wù)的可管、可控、可觀(guān)察

助力企業(yè)把握科技應(yīng)用創(chuàng)新，一直是網(wǎng)宿科技的使命所在。

曾智全表示，網(wǎng)宿科技在歷次的互聯(lián)網(wǎng)應(yīng)用迭代中，為各類(lèi)新興應(yīng)用的規(guī)模落地提供了重要的支撐，為全球企業(yè)提供了一站式、高效、安全的服務(wù)保障，我們所沉淀的完備技術(shù)能力以及深厚的場(chǎng)景經(jīng)驗(yàn)，可以復(fù)用于眼下的AI創(chuàng)新浪潮中，與企業(yè)一起在AI時(shí)代起跑。

基于對(duì)企業(yè)需求的洞察，網(wǎng)宿科技在業(yè)內(nèi)率先打造了網(wǎng)宿邊緣AI網(wǎng)關(guān)，在行業(yè)中開(kāi)創(chuàng)了新的服務(wù)范式。

具體來(lái)看，在一般情況下，企業(yè)管理其所接入的多個(gè)大模型，需要提前做一些集成開(kāi)發(fā)。網(wǎng)宿邊緣AI網(wǎng)關(guān)則提供了一個(gè)通用、一體化的解決方案。企業(yè)可通過(guò)統(tǒng)一的控制平臺(tái)，創(chuàng)建邊緣AI網(wǎng)關(guān)，添加通道，實(shí)現(xiàn)與多AI服務(wù)商模型對(duì)接，并且平臺(tái)支持多模型服務(wù)的可管、可控、可觀(guān)察。

其中，在接入層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)提前完成了與多個(gè)主流AI服務(wù)商的集成，企業(yè)開(kāi)發(fā)人員無(wú)需頻繁修改代碼，只需在控制臺(tái)進(jìn)行網(wǎng)關(guān)配置，一次接入，即可使用多個(gè)模型服務(wù)，大大提升接入效率。

在管理層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)支持特殊配置，企業(yè)可以在AI網(wǎng)關(guān)上靈活定義優(yōu)先級(jí)、負(fù)載均衡、限速等策略，按需配置不同模型服務(wù)，實(shí)現(xiàn)成本可控或減少濫用，并且企業(yè)可在請(qǐng)求失敗情況下實(shí)現(xiàn)無(wú)縫切換，提升AI服務(wù)的可靠性。另外，企業(yè)還可以啟用緩存功能，一旦請(qǐng)求在AI緩存中命中，則不必回到模型提供商，減少模型提供商tokens數(shù)的消耗，降低成本，提高響應(yīng)速度。

在運(yùn)營(yíng)層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)提供數(shù)據(jù)可視化功能，聚合來(lái)自多個(gè)模型提供商的指標(biāo)，支持請(qǐng)求數(shù)、tokens數(shù)、緩存數(shù)、錯(cuò)誤數(shù)等的分析展示，并提供實(shí)時(shí)日志記錄，讓企業(yè)可以觀(guān)測(cè)和控制模型服務(wù)的使用情況，以?xún)?yōu)化模型服務(wù)策略。

網(wǎng)宿邊緣AI網(wǎng)關(guān)，多模型服務(wù)的安全與性能保障

曾智全進(jìn)一步介紹，在實(shí)現(xiàn)多模型服務(wù)的高效接入與管理的同時(shí)，網(wǎng)宿邊緣AI網(wǎng)關(guān)的核心價(jià)值，還在于確保模型服務(wù)的安全性、高性能，以及可定制化。

安全性對(duì)AI應(yīng)用至關(guān)重要。在安全性方面，企業(yè)可在網(wǎng)宿邊緣AI網(wǎng)關(guān)上配置提示詞過(guò)濾規(guī)則或執(zhí)行內(nèi)容安全審計(jì)，以確保交互內(nèi)容安全、合規(guī)且尊重用戶(hù)。

在服務(wù)性能上，依托網(wǎng)宿強(qiáng)大的全球資源網(wǎng)絡(luò)，用戶(hù)就近接入邊緣分布式AI網(wǎng)關(guān)，可以確保訪(fǎng)問(wèn)的穩(wěn)定性和速度，減少因跨國(guó)網(wǎng)絡(luò)波動(dòng)等異常因素對(duì)用戶(hù)體驗(yàn)的影響。

尤為值得一提的是，網(wǎng)宿可以支持開(kāi)發(fā)人員在離用戶(hù)最近的邊緣位置實(shí)現(xiàn)一定程度的無(wú)服務(wù)化開(kāi)發(fā)。通過(guò)將網(wǎng)宿邊緣AI網(wǎng)關(guān)和網(wǎng)宿邊緣函數(shù)結(jié)合使用，靈活定制一些模型調(diào)用或中間處理邏輯，1小時(shí)內(nèi)即可上線(xiàn)服務(wù)，大幅節(jié)省研發(fā)人員時(shí)間。

據(jù)悉，目前，網(wǎng)宿邊緣AI網(wǎng)關(guān)已開(kāi)放限時(shí)免費(fèi)測(cè)試，以支撐用戶(hù)的AI體驗(yàn)。而除此之外，網(wǎng)宿深入企業(yè)應(yīng)用，聚焦特定的AI場(chǎng)景，還打造了邊緣向量數(shù)據(jù)庫(kù)、邊緣模型推理服務(wù)等，計(jì)劃下一步面向公眾開(kāi)放。

屆時(shí)，企業(yè)可輕松集成公共或自有模型，通過(guò)邊緣AI網(wǎng)關(guān)，合理管控模型應(yīng)用，獲知多模型運(yùn)行數(shù)據(jù)，或是與邊緣函數(shù)、邊緣KV存儲(chǔ)、應(yīng)用引擎等組合使用，靈活構(gòu)建和擴(kuò)展邊緣AI應(yīng)用，執(zhí)行智能問(wèn)答、內(nèi)容創(chuàng)作、檢索增強(qiáng)、圖片識(shí)別等AI任務(wù)。

伴隨AI時(shí)代發(fā)展，網(wǎng)宿科技在AI領(lǐng)域的能力布局將不斷深化。曾智全表示，網(wǎng)宿科技將持續(xù)構(gòu)建更加敏捷、適應(yīng)性更強(qiáng)、更安全的AI生態(tài)系統(tǒng)，讓更多企業(yè)都能擁抱AI，從AI中獲得創(chuàng)新與增長(zhǎng)。