我們都錯怪GPT-5了,路由統(tǒng)一算力,免費用戶也能創(chuàng)造收益
GPT-5發(fā)布以來,路由架構(gòu)是最受關(guān)心的部分之一。
它不僅實現(xiàn)了多個模型統(tǒng)一調(diào)度,而且還藏著奧特曼的諸多小心思。
比如成本更可控、悄悄識別意圖插入廣告等。
但是由于GPT-5不開源,這個框架具體啥情況咱們也都無從得知。
不過,最近開源社區(qū)出現(xiàn)了一個類似版本——Arch-Router,它會結(jié)合任務(wù)領(lǐng)域(如金融、法律)和具體動作(如摘要、生成代碼)來制定路由策略,并連接到最適合的模型,與人類的偏好對齊。

順著這個“開源版本”,GPT-5路由系統(tǒng)背后,OpenAI的更多設(shè)計也浮出水面。
什么是路由框架?
現(xiàn)有的路由方法主要分為兩類,一類是任務(wù)型路由,將用戶的請求直接導(dǎo)向處理特定任務(wù)的預(yù)定義模型;
另一類則是基于性能的路由,通過成本-性能評分來調(diào)用最具性價比的模型。
然而,用戶的請求往往是模糊且主觀的,因此,上述的兩類路由往往難以精準(zhǔn)定位用戶偏好,從而無法給出滿意的回答。
為了解決上述問題,研究人員提出了我們開頭提到的——偏好對齊路由框架Arch-Router,根據(jù)用戶定義的偏好將路由策略和模型選擇統(tǒng)一起來。
在這個框架中,用戶使用領(lǐng)域-動作分類法(domain-action taxonomy)來定義自己的路由策略。
這模仿了人們通常描述任務(wù)的方式,從一個大的領(lǐng)域開始,然后逐漸縮小到一個具體的動作。例如從大的主題(金融、法律)開始,縮小到特定的動作(摘要或生成代碼)。
路由過程分為兩個階段:

首先,Arch-Router將用戶查詢與自然語言描述的路由策略進行匹配。例如,如果一個策略被描述為“生成代碼片段”,那么Arch-Router的任務(wù)就是識別出用戶是否有這個意圖,并選擇這個策略。
其次,一個映射函數(shù)將選定的策略連接到其指定的LLM(比如Claude),進而完成任務(wù)。
值得一提的是,Arch-Router具有極強的靈活性。每當(dāng)有新模型可用時,無需額外訓(xùn)練新的路由策略,只需要更新一個映射函數(shù),將策略鏈接到最新的模型即可。
由此,用戶可以根據(jù)不斷變化的需求、性能優(yōu)化或新模型的出現(xiàn)來動態(tài)地重新配置路由,同時保留已學(xué)習(xí)的路由邏輯。
在GPT-5的介紹文檔中,這類基于偏好對齊的路由框架就占據(jù)了核心地位:
GPT-5是一個統(tǒng)一系統(tǒng),包含一個智能高效的模型用于回答大多數(shù)問題,一個用于處理更復(fù)雜問題的深度推理模型(GPT-5思考模式),以及一個實時路由器,根據(jù)對話類型、問題復(fù)雜度、工具需求和用戶明確意圖(例如提示中說“認(rèn)真思考這個”)快速決定使用哪個模型。
總結(jié)一下就是,GPT-5內(nèi)部的路由框架能夠根據(jù)問題類型、難度和用戶意圖自動選擇輕量模型或思考模型,從而在成本和性能之間找到平衡。
不過,不同于Arch-Router只是提升模型的意圖識別能力,GPT-5的路由框架被設(shè)計成驅(qū)動ChatGPT下一階段發(fā)展的核心樞紐。
更好平衡成本,還能轉(zhuǎn)化流量
為什么路由是GPT-5的核心樞紐?因為它同時解決了兩件最難的事:
一是在用戶規(guī)模暴漲而每次推理都有成本的前提下,把成本與性能進行動態(tài)匹配;二是如何在不把體驗做成廣告的情況下,把免費流量轉(zhuǎn)化為真實營收。
近三年里,ChatGPT從“未進前100的網(wǎng)站”躍升至全球第五,其規(guī)模超過了X/Twitter、Reddit、Whats app、維基百科,并且正在迅速逼近Instagram、Facebook、Youtube和谷歌。

同時,在全球擁有7億周活躍用戶的同時,GPT還有著最快的用戶增速。不過,這7億用戶里的99%都是免費用戶。

此外,大模型的推理模式也意味著,如果想要獲得高質(zhì)量的輸出,就必須實施更多的推理步驟,更頻繁的工具調(diào)用,而這無疑將會顯著抬高單次響應(yīng)成本。

綜上,這就產(chǎn)生了一個讓奧特曼非常頭疼的問題——(免費)用戶越多、推理越多,成本支出就越多。
因為,在大模型里,每一次額外的推理都是真金白銀的可變成本。這與互聯(lián)網(wǎng)“用戶新增的邊際成本接近零”的“聚合理論”直覺相反。
像ChatGPT這樣的大模型平臺,每次推理(即每次生成答案)都要花費計算資源,產(chǎn)生成本。
這意味著它不可能對所有的用戶都開放無限免費的深度推理,但與此同時,它又必須保證一定的可靠性(推理額度),來擴展、留住免費用戶。
為了解決上述矛盾,就有了GPT-5這次的暴力更新——直接去除其他模型選項。

通過統(tǒng)一入口,讓系統(tǒng)自動根據(jù)用戶意圖、問題復(fù)雜度和工具需求,智能分配輕量模型或深度推理模型。
對于低價值、簡單的查詢,模型可以用輕量模型快速回答,降低推理成本。而對于高價值、復(fù)雜的商業(yè)查詢,模型則可以投入更多算力(更復(fù)雜的推理、更長的計算)。
這樣一來,路由框架掌握了“誰來答、答到什么深度、何時調(diào)用工具”的主動權(quán),在體驗與成本之間做實時最優(yōu)分配。
當(dāng)解決了性能分配問題時,就該考慮錢了。
畢竟就像上面說的,大模型用的越多,虧得越多,
所以,哪怕GPT-5上線第一天,接觸推理模型的免費用戶數(shù)就增長了7倍,付費用戶數(shù)增長了3.5倍,問題的關(guān)鍵還是如何把99%免費用戶口袋中的錢塞進OpenAI自己的腰包
試想一下,如果你是山姆·奧特曼,你擁有全球最大的用戶觸達平臺之一,你該如何利用免費用戶?
你肯定第一時間想到了賣廣告,但GPT并沒有“直接”這么做。
奧特曼曾公開表示對廣告的厭惡態(tài)度:
我承認(rèn),我討厭廣告,這是我個人的偏見。我認(rèn)為廣告對于早期互聯(lián)網(wǎng)的商業(yè)模式至關(guān)重要。我并非完全反對廣告,但廣告加上人工智能讓我感到特別不安。我感覺廣告是商業(yè)模式的最后手段。
不過,最近奧特曼的口風(fēng)有所松動:
我并非完全反對……如果你把我們比作社交媒體或網(wǎng)絡(luò)搜索,你就能看出它們正在被商業(yè)化……我們絕不想在法學(xué)碩士(LLM)的學(xué)習(xí)過程中修改任何東西……或許,如果你點擊了某個我們無論如何都會顯示的內(nèi)容,我們就能獲得一些交易收入,而且所有東西都是統(tǒng)一的,也許這樣可行。成為一家優(yōu)秀的廣告驅(qū)動型公司顯然是可能的,但顯然也存在一些問題。
OpenAI的Andrew Mayne更是在和奧特曼的對話中提到了相應(yīng)的應(yīng)用場景:
我很想通過ChatGPT完成所有的購買,因為我經(jīng)常覺得自己沒有做出最明智的決定。
這種曖昧的態(tài)度似乎意味著,當(dāng)大語言模型識別到用戶存在明確的商業(yè)意圖(如預(yù)訂、購買、出行等),路由可調(diào)度更多算力提供深度服務(wù),并在交易中收取訂閱費、傭金或平臺分成。
相比直接插廣告,這更像一次智能的“代理服務(wù)”——這不是簡單把廣告塞進答案里,而是讓路由把高價值意圖引到“可轉(zhuǎn)化的決策路徑”上。
換句話說,要是您想跟GPT咨詢一些購買意見,那GPT就會給你好好回答一番,而在達成交易后,GPT就可以從提供的選項、鏈接的接口、調(diào)用的api中收點服務(wù)費。
不過,讓用戶間接付費并不是OpenAI最終的目的。
因為,GPT-5的介紹文件還這樣寫道:
路由會持續(xù)通過真實數(shù)據(jù)進行訓(xùn)練,包括用戶切換模型的行為、對回答的偏好評分以及準(zhǔn)確性評估,隨著時間不斷改進。一旦達到使用上限,每個模型的迷你版本會處理剩余的查詢。未來不久,我們計劃將這些能力整合到單一模型中
這就意味著,OpenAI真正想做的,是用路由機制掌控用戶與模型的交互路徑。
從你提問的那一刻起,系統(tǒng)就會判斷問題復(fù)雜度、意圖、工具需求,決定你走向輕量模型還是深度推理模型,并在必要時引導(dǎo)你接觸付費入口或品牌推薦。
這樣既能用低成本模型消化大部分免費流量,又能在高價值場景投入更多算力換取更高回報。
更關(guān)鍵的是,這套路由并不是固定規(guī)則,而是會根據(jù)真實使用數(shù)據(jù)不斷自我進化——它會觀察你是否切換模型、如何給答案打分、答案的準(zhǔn)確率如何,并用這些信息優(yōu)化決策邏輯。
即便你用到當(dāng)日限額,系統(tǒng)也會切到“迷你版”模型,確保交互不中斷。長遠來看,這種持續(xù)學(xué)習(xí)的路由最終會收斂到一個統(tǒng)一模型,既控制了成本,又牢牢鎖住了商業(yè)化的主動權(quán)。
由此,GPT既可以免費給普通用戶基礎(chǔ)服務(wù),收攬新客戶;也可以靠“高價值商業(yè)交易”的傭金賺回推理成本,甚至盈利,而這一切都由統(tǒng)一的路由框架調(diào)度。
而普通用戶可憐的幾次套餐限額沒準(zhǔn)還被算進了廣告觀看的人頭次數(shù)。

所以,奧特曼讓99%的白嫖黨用上了類似o3的推理模型,還真不是在免費發(fā)福利。
GPT的猜你喜歡
你可以想象在未來,通過GPT來預(yù)訂航班、購買商品、購買食物,GPT將鏈接到電商平臺、支付平臺、金融公司、乃至銀行,而這一切走過路過的企業(yè)、用戶、服務(wù)商都要給GPT交過路費。
盡管社交媒體仍然是當(dāng)前獲客最多的地方,但對于資本市場來說,誰擁有未來,誰就擁有一切。
毫無疑問,任何能夠并愿意降低獲客成本的公司都會樂于盡快行動和OpenAI合作。
ChatGPT將創(chuàng)造一個不同于線上和線下的第三消費空間,它能夠減少對客服、廣告、營銷和其他功能的依賴,從而降低運營成本。
而這一切將實現(xiàn)奧特曼式的廣告模式:沒有張貼海報,沒有巨型橫幅,沒有開屏廣告,也沒有插播。
有的只是你在和GPT談心時,精準(zhǔn)拿捏你消費訴求的“猜你喜歡”。


































