最近，AI領(lǐng)域的巨頭OpenAI又給我們帶來了一個(gè)重磅消息。他們?cè)贏I代理框架上進(jìn)行了四項(xiàng)關(guān)鍵更新，這些更新不僅擴(kuò)展了平臺(tái)兼容性，還提升了對(duì)語音接口的支持，并且增強(qiáng)了可觀察性。這些改進(jìn)都是為了讓AI代理更加實(shí)用、可控和可審計(jì)，以便更好地融入現(xiàn)實(shí)世界的各種應(yīng)用場(chǎng)景，無論是客戶端還是服務(wù)器端。

1. TypeScript支持：AI開發(fā)迎來新選擇

首先，OpenAI的Agents SDK現(xiàn)在支持TypeScript了！這意味著除了Python開發(fā)者之外，那些在JavaScript和Node.js環(huán)境中工作的開發(fā)者也可以輕松上手。TypeScript SDK與Python版本功能一致，包括以下幾個(gè)關(guān)鍵組件：

• Handoffs（交接機(jī)制）：可以將執(zhí)行流程路由到其他代理或進(jìn)程。
• Guardrails（防護(hù)欄）：運(yùn)行時(shí)檢查，確保工具行為在預(yù)定義的邊界內(nèi)。
• Tracing（追蹤）：在代理執(zhí)行過程中收集結(jié)構(gòu)化遙測(cè)數(shù)據(jù)的鉤子。
• MCP（模型上下文協(xié)議）：用于在代理步驟和工具調(diào)用之間傳遞上下文狀態(tài)的協(xié)議。

這一更新讓SDK與現(xiàn)代Web和云原生應(yīng)用棧保持一致。開發(fā)者現(xiàn)在可以在前端（瀏覽器）和后端（Node.js）環(huán)境中使用統(tǒng)一的抽象來構(gòu)建和部署代理。詳細(xì)的文檔可以在openai-agents-js找到。

2. RealtimeAgent：實(shí)時(shí)語音交互的“神器”

OpenAI推出了一種新的RealtimeAgent抽象，專門用于支持對(duì)延遲敏感的語音應(yīng)用。RealtimeAgent擴(kuò)展了Agents SDK，增加了音頻輸入/輸出、有狀態(tài)交互和中斷處理功能。

其中最值得關(guān)注的功能是Human-in-the-Loop（HITL，人在回路中）審批。這個(gè)功能允許開發(fā)者在運(yùn)行時(shí)攔截代理的執(zhí)行，序列化其狀態(tài)，并在繼續(xù)執(zhí)行之前要求手動(dòng)確認(rèn)。這對(duì)于需要監(jiān)督、合規(guī)檢查點(diǎn)或特定領(lǐng)域驗(yàn)證的應(yīng)用場(chǎng)景非常關(guān)鍵。

開發(fā)者可以暫停執(zhí)行，檢查序列化狀態(tài)，并在保留完整上下文的情況下恢復(fù)代理。更多細(xì)節(jié)可以在OpenAI的HITL文檔中找到。

3. 實(shí)時(shí)API會(huì)話的可追溯性：讓語音代理“有跡可循”

與RealtimeAgent功能相輔相成的是，OpenAI擴(kuò)展了Traces儀表板，增加了對(duì)語音代理會(huì)話的支持?，F(xiàn)在，無論是通過SDK還是直接通過API調(diào)用發(fā)起的會(huì)話，都可以進(jìn)行追蹤。

Traces界面可以可視化以下內(nèi)容：

• 音頻輸入和輸出（流式或緩沖）
• 工具調(diào)用及其參數(shù)
• 用戶中斷和代理恢復(fù)

這為基于文本和以音頻為主的代理提供了統(tǒng)一的審計(jì)跟蹤，簡(jiǎn)化了跨模態(tài)的調(diào)試、質(zhì)量保證和性能調(diào)優(yōu)。追蹤格式標(biāo)準(zhǔn)化，并與OpenAI的監(jiān)控棧集成，無需額外的監(jiān)控工具即可提供全面的可見性。更多實(shí)現(xiàn)細(xì)節(jié)可以在語音代理指南中找到。

4. 語音交互的優(yōu)化：更自然、更流暢

OpenAI對(duì)其底層的語音到語音模型進(jìn)行了更新，這些模型是實(shí)時(shí)音頻交互的核心。改進(jìn)主要集中在減少延遲、提高自然度和更有效地處理中斷。

雖然模型的核心功能——語音識(shí)別、合成和實(shí)時(shí)反饋——保持不變，但這些改進(jìn)讓對(duì)話系統(tǒng)在響應(yīng)性和語調(diào)變化方面表現(xiàn)得更好。具體來說：

• 低延遲流式傳輸：在口語對(duì)話中實(shí)現(xiàn)更即時(shí)的輪次交替。
• 富有表現(xiàn)力的音頻生成：改進(jìn)了語調(diào)和停頓的建模。
• 對(duì)中斷的魯棒性：代理可以優(yōu)雅地響應(yīng)重疊輸入。

這些變化與OpenAI支持動(dòng)態(tài)、多模態(tài)環(huán)境中運(yùn)行的具身化和對(duì)話型代理的總體努力相一致。

總結(jié)：邁向更模塊化、更易用的AI代理生態(tài)

這四項(xiàng)更新共同加強(qiáng)了構(gòu)建語音支持、可追溯且對(duì)開發(fā)者友好的AI代理的基礎(chǔ)。通過與TypeScript環(huán)境的深度集成，引入實(shí)時(shí)流程中的結(jié)構(gòu)化控制點(diǎn)，以及增強(qiáng)可觀察性和語音交互質(zhì)量，OpenAI繼續(xù)朝著更模塊化和互操作性強(qiáng)的代理生態(tài)系統(tǒng)邁進(jìn)。

這些更新不僅僅是技術(shù)上的進(jìn)步，更是OpenAI在推動(dòng)AI技術(shù)走向?qū)嵱没?、普及化道路上的重要一步。無論是開發(fā)者還是最終用戶，都將從這些改進(jìn)中受益。未來，OpenAI還會(huì)帶來哪些驚喜？讓我們拭目以待！

?

本文轉(zhuǎn)載自??Halo咯咯???    作者：基咯咯