DeepSeek 作為大模型新銳，憑借其在算法、架構(gòu)及系統(tǒng)等核心領(lǐng)域的創(chuàng)新突破，迅速獲得業(yè)界矚目。在巨大的熱度下，面對(duì)海量請(qǐng)求，越來(lái)越多用戶(hù)遇到了請(qǐng)求失敗、調(diào)用超時(shí)、結(jié)果無(wú)法返回等穩(wěn)定性問(wèn)題。

火山引擎邊緣大模型網(wǎng)關(guān)通過(guò)一個(gè) API 接入多家模型服務(wù)，利用全球邊緣節(jié)點(diǎn)就近調(diào)用，提升響應(yīng)速度；支持故障自動(dòng)切換、重試和超時(shí)控制，確保服務(wù)可靠性；兼容 OpenAI 接口標(biāo)準(zhǔn)，可快速集成 DeepSeek 等模型，降低接入成本。

目前，火山引擎邊緣大模型網(wǎng)關(guān)已全面支持 DeepSeek 系列模型，可通過(guò)兩種方式進(jìn)行模型使用：

• 一是通過(guò)平臺(tái)預(yù)置模型，邊緣大模型網(wǎng)關(guān)新增由火山方舟提供的 DeepSeek R1、DeepSeek V3、DeepSeek-R1-Distill-Qwen-7B/32B，您可直接使用并對(duì)其創(chuàng)建網(wǎng)關(guān)訪問(wèn)密鑰，無(wú)需與三方模型提供商交互；
• 二是通過(guò)自有三方模型，邊緣大模型網(wǎng)關(guān)新增由 DeepSeek 開(kāi)放平臺(tái)提供的 DeepSeek R1、DeepSeek V3 以及火山方舟提供的 DeepSeek R1、DeepSeek V3、DeepSeek-R1-Distill-Qwen-7B/32B，您可以將您在第三方模型平臺(tái)的密鑰納管至邊緣大模型網(wǎng)關(guān)，以實(shí)現(xiàn)通過(guò)邊緣大模型網(wǎng)關(guān)簽發(fā)的網(wǎng)關(guān)訪問(wèn)密鑰進(jìn)行對(duì)應(yīng)模型的訪問(wèn)與調(diào)用。

01 3步快速調(diào)用 DeepSeek

火山引擎邊緣大模型網(wǎng)關(guān)支持通過(guò)一個(gè) API 接口訪問(wèn)多家大模型提供商的模型與智能體，在端側(cè)基于遍布全球的邊緣計(jì)算節(jié)點(diǎn)就近調(diào)用。利用邊緣云基礎(chǔ)架構(gòu)優(yōu)勢(shì)，提高模型訪問(wèn)速度，為終端用戶(hù)提供更快速、可靠的 AI 服務(wù)體驗(yàn)。

在接入大模型的同時(shí)，通過(guò)配置調(diào)用順序、自動(dòng)重試、請(qǐng)求超時(shí)等能力，能夠?qū)崿F(xiàn)模型調(diào)用失敗自動(dòng)請(qǐng)求備用模型、單次請(qǐng)求失敗自動(dòng)重試、單次調(diào)用響應(yīng)時(shí)間配置。通過(guò)產(chǎn)品化的配置，您可以迅速創(chuàng)建出與 OpenAI 的 API 和 SDK 完全兼容的網(wǎng)關(guān)訪問(wèn)密鑰（API），并通過(guò)選配 DeepSeek 模型進(jìn)行調(diào)用，節(jié)省大量適配成本，快速完成業(yè)務(wù)接入。

Step1 選擇 DeepSeek 調(diào)用方式

調(diào)用平臺(tái)預(yù)置 DeepSeek

邊緣大模型網(wǎng)關(guān)的平臺(tái)預(yù)置模型中上新了由火山方舟提供的 DeepSeek 模型，您可通過(guò)登錄產(chǎn)品控制臺(tái)查看支持模型，并通過(guò)點(diǎn)擊創(chuàng)建網(wǎng)關(guān)訪問(wèn)密鑰進(jìn)行勾選。使用平臺(tái)預(yù)置的模型DeepSeek，您無(wú)需與模型提供商進(jìn)行交互，可以直接通過(guò)邊緣大模型網(wǎng)關(guān)進(jìn)行模型配置與調(diào)用。

調(diào)用自有三方 DeepSeek

如果希望使用在火山方舟平臺(tái)或 DeepSeek 開(kāi)放平臺(tái)購(gòu)買(mǎi)的 DeepSeek 模型調(diào)用額度，您需要通過(guò)在邊緣大模型網(wǎng)關(guān)平臺(tái)創(chuàng)建對(duì)應(yīng)模型提供商的調(diào)用渠道，在創(chuàng)建調(diào)用渠道時(shí)，需要提供您在第三方模型平臺(tái)的密鑰，同時(shí)勾選大模型以明確當(dāng)前調(diào)用渠道可進(jìn)行調(diào)用的模型配置。

完成調(diào)用渠道配置后，您可通過(guò)創(chuàng)建網(wǎng)關(guān)訪問(wèn)密鑰勾選對(duì)應(yīng)的 DeepSeek 模型，實(shí)現(xiàn)大模型的快速調(diào)用。

Step2 創(chuàng)建網(wǎng)關(guān)訪問(wèn)密鑰

完成前序的 DeepSeek 模型選擇后，您可在網(wǎng)關(guān)訪問(wèn)密鑰創(chuàng)建的第二步進(jìn)行模型調(diào)用配置，以更好地保障在終端業(yè)務(wù)調(diào)用時(shí)的穩(wěn)定性。

• 通過(guò)設(shè)置調(diào)用順序，您可以手動(dòng)調(diào)整上一步選擇的模型調(diào)用順序，可以根據(jù)不同廠商的容災(zāi)策略以及不同尺寸模型的降級(jí)進(jìn)行設(shè)置，在前一個(gè)模型調(diào)用失敗后，大模型網(wǎng)關(guān)將依次調(diào)用后續(xù)模型，直到成功調(diào)用一個(gè)模型。如果所有模型都調(diào)用失敗，則返回錯(cuò)誤響應(yīng)。
• 通過(guò)重試次數(shù)，您可以設(shè)置對(duì)一個(gè)模型進(jìn)行調(diào)用的最大重試次數(shù)。當(dāng)一個(gè)模型調(diào)用失敗后，大模型網(wǎng)關(guān)將重新嘗試調(diào)用此模型，直到重試次數(shù)耗盡。
• 通過(guò)啟用緩存，大模型網(wǎng)關(guān)會(huì)就近調(diào)用結(jié)果返回在邊緣節(jié)點(diǎn)，從而加快重復(fù)查詢(xún)、縮短響應(yīng)時(shí)間并降低成本。
• 通過(guò)設(shè)置緩存的保留時(shí)長(zhǎng)，一旦超過(guò)指定時(shí)長(zhǎng)，緩存將被清除。
• 通過(guò)請(qǐng)求超時(shí)定義，您可以設(shè)置單次模型調(diào)用的超時(shí)時(shí)長(zhǎng)，模型請(qǐng)求發(fā)出后，若在超時(shí)時(shí)長(zhǎng)內(nèi)未收到響應(yīng)，則判定該請(qǐng)求失敗。

Step3 服務(wù)調(diào)用與觀測(cè)

當(dāng)您根據(jù)上述流程完成網(wǎng)關(guān)訪問(wèn)密鑰創(chuàng)建，您可以在網(wǎng)關(guān)訪問(wèn)密鑰列表中查看已完成創(chuàng)建的信息。在詳情頁(yè)面，可以看到基本信息、用量統(tǒng)計(jì)、請(qǐng)求方式等詳細(xì)信息。

通過(guò)詳情頁(yè)調(diào)用示例，您可以獲得由邊緣大模型網(wǎng)關(guān)提供的請(qǐng)求示例代碼，包含 Curl 和 Python。當(dāng)您從網(wǎng)關(guān)訪問(wèn)密鑰綁定的模型中選擇一個(gè)模型后，代碼中的model參數(shù)值將自動(dòng)替換成模型對(duì)應(yīng)的值。如果網(wǎng)關(guān)訪問(wèn)密鑰綁定了多個(gè)同一類(lèi)型的模型，那么當(dāng)選擇一個(gè)模型后，可以通過(guò)單擊右側(cè)的圖標(biāo)查看模型故障轉(zhuǎn)移的預(yù)覽效果。當(dāng)前模型調(diào)用失敗時(shí)，大模型網(wǎng)關(guān)將依次調(diào)用后續(xù)的模型。在調(diào)用時(shí)，您需要將詳情頁(yè)-請(qǐng)求方式中的密鑰替換示例代碼中的$VEI_API_KEY。

邊緣大模型網(wǎng)關(guān)可根據(jù)您通過(guò)網(wǎng)關(guān)向模型發(fā)出的請(qǐng)求以及模型的響應(yīng)來(lái)統(tǒng)計(jì)您的用量。不同模型提供商對(duì)模型用量的計(jì)量方式有所不同，根據(jù)模型調(diào)用計(jì)量方式，您的調(diào)用詳情可以在用量統(tǒng)計(jì)中進(jìn)行查看。

同時(shí)，通過(guò)云監(jiān)控-大模型網(wǎng)關(guān)模塊，您可以查詢(xún)以網(wǎng)關(guān)訪問(wèn)密鑰為維度的總用量（已消耗的 tokens 總量）與用量速率（每秒消耗的 tokens 額度）。