作者 | Joab Jackson

編輯 | 言征

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

ChatGPT輸出可以更加可控了，OpenAI昨天發(fā)布了一款工具，該工具將以用戶(hù)指定的精確格式返回查詢(xún)結(jié)果。

OpenAI 首席執(zhí)行官Sam Altman表示，這是使用 AI 技術(shù)的開(kāi)發(fā)人員提出最多的請(qǐng)求。

1.OpenAI 今年的重點(diǎn)：DevTools

自 2022 年 11 月首次亮相以來(lái)，ChatGPT 服務(wù)已被無(wú)數(shù)應(yīng)用程序開(kāi)發(fā)人員用于代理驅(qū)動(dòng)和其他應(yīng)用程序。但是，雖然 ChatGPT 使用大量非結(jié)構(gòu)化數(shù)據(jù)來(lái)提供其結(jié)果（通過(guò) API 驅(qū)動(dòng)的函數(shù)調(diào)用），但應(yīng)用程序開(kāi)發(fā)人員更希望將這些結(jié)果作為結(jié)構(gòu)化數(shù)據(jù)提供，以便各自的應(yīng)用程序可以更好地解析它們。

去年，OpenAI 擴(kuò)展了其 API，以包含以JSON形式提供的結(jié)果。本周三，該公司更進(jìn)一步，推出了一項(xiàng)名為“結(jié)構(gòu)化輸出”的新 API 功能，該功能將以開(kāi)發(fā)人員在查詢(xún)中指定的任何JSON 模式提供結(jié)果。

OpenAI技術(shù)人員Michelle Pokrass在周二發(fā)布的一篇博客文章中寫(xiě)道：“開(kāi)發(fā)人員長(zhǎng)期以來(lái)一直在通過(guò)開(kāi)源工具、提示和反復(fù)重試請(qǐng)求來(lái)解決 LLM 的局限性，以確保模型輸出符合與其系統(tǒng)互操作所需的格式。 ”

“結(jié)構(gòu)化輸出通過(guò)約束 OpenAI 模型以匹配開(kāi)發(fā)人員提供的模式并訓(xùn)練我們的模型以更好地理解復(fù)雜模式來(lái)解決此問(wèn)題?！?/p>

2.結(jié)構(gòu)化輸出如何提高 LLM質(zhì)量

結(jié)構(gòu)化輸出與普通用戶(hù)提示生成的輸出不同，因?yàn)樗鼈冊(cè)谒芴峁┑男畔⒎矫媸艿较拗?，這種技術(shù)稱(chēng)為“約束采樣”或“約束解碼”。

Pokrass 解釋說(shuō)：“為了強(qiáng)制有效輸出，我們將模型限制為僅根據(jù)提供的模式有效的標(biāo)記，而不是所有可用的標(biāo)記?！?/p>

對(duì)于 ChatGPT 來(lái)說(shuō)，采用這一模式的這一額外步驟可以提高其準(zhǔn)確性。

OpenAI 開(kāi)發(fā)人員在測(cè)試中發(fā)現(xiàn)，對(duì)復(fù)雜JSON模式的評(píng)估中，帶有結(jié)構(gòu)化輸出的新模型gpt-4o-2024-08-06得分為100%。相比之下，gpt-4-0613的得分不到40%。

ChgatGPT 能夠 100% 正確地填充預(yù)定義模式，但通過(guò)簡(jiǎn)單提示只能提供 85% 的正確響應(yīng)。

圖片

OpenAI 圖表比較了針對(duì) JSON 模式生成的 ChatGPT 響應(yīng)與從命令提示符生成的響應(yīng)的可靠性。

3.如何產(chǎn)生結(jié)構(gòu)化輸出

那么如何操做呢？

現(xiàn)在，當(dāng)應(yīng)用程序提交請(qǐng)求時(shí)，開(kāi)發(fā)人員會(huì)通過(guò)json_schema提供 JSON 模式，這是response_format參數(shù)的一個(gè)新選項(xiàng)。同時(shí)，在函數(shù)定義中，必須將strict值設(shè)置為“true”。然后，模型的輸出將使其答案與模式最佳匹配（這既適用于 AI 工具，也適用于直接用戶(hù)查詢(xún)）。

圖片

值得注意的是，響應(yīng)結(jié)果仍將遵守 OpenAI 的安全要求（阻止?jié)撛谟泻?nèi)容），并將對(duì)不會(huì)回答的問(wèn)題返回拒絕字符串值。此外還有其他限制：它僅支持JSON 模式的子集。它無(wú)法防止模型定義中的錯(cuò)誤，并且由于 ChatGPT 會(huì)整理開(kāi)發(fā)人員的模式，因此第一次響應(yīng)會(huì)有額外的延遲。

OpenAI的 Node.js和Python軟件開(kāi)發(fā)工具包都已更新了最新的response_format參數(shù)。

當(dāng)然，最大的可能用例是將非結(jié)構(gòu)化數(shù)據(jù)格式化為結(jié)構(gòu)化數(shù)據(jù)，以便關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)可以提取和分析它。這對(duì)于在辦公文檔中存儲(chǔ)大量信息的組織來(lái)說(shuō)一直是一個(gè)挑戰(zhàn)。

但波克拉斯詳細(xì)闡述了該技術(shù)的一些可能的高級(jí)用途，包括根據(jù)用戶(hù)輸入動(dòng)態(tài)創(chuàng)建用戶(hù)界面并在沒(méi)有支持材料的情況下提供單一答案。

機(jī)器學(xué)習(xí)研究員Elvis Saravia在 X 上指出，這是一個(gè)“很棒的功能，非常有必要” ，并在Youtube制作了一個(gè)關(guān)于如何使用結(jié)構(gòu)化輸出的教程，各位不防自行查閱。

圖片

參考鏈接：https://thenewstack.io/openais-chatgpt-now-formats-output-to-developer-queries/ 

????本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：言征