總結(jié)，模型門(mén)戶留給GPT5去做了，4.5還是像Altman之前說(shuō)的就是最后一代純預(yù)訓(xùn)練。

1- 一個(gè)超巨大的模型，grok3級(jí)別（10萬(wàn)卡），AK說(shuō)每個(gè)0.5要提升10倍預(yù)訓(xùn)練算力，那對(duì)比GPT4的1.8T, 也就說(shuō)4.5是一個(gè)18T(18000B) 級(jí)別的模型，所以必須跨多campus, 異步梯度下降的訓(xùn)練方式(要求太高，這個(gè)目前只有g(shù)rok, oai,gemini,3家真正嚴(yán)格實(shí)踐過(guò)，anthropic都不行)。

2-擁有更多的知識(shí)(o3和人類(lèi)比如博士生做題的合成數(shù)據(jù))，比4o能力提升百分之50（其實(shí)有些指標(biāo)翻好幾翻，比如奧數(shù)）簡(jiǎn)單問(wèn)答有明顯更少的幻覺(jué)，但是復(fù)雜問(wèn)答比如AIME奧數(shù)和coding，是無(wú)法和o3mini這種模型相比的。更多知識(shí)的另一個(gè)產(chǎn)物是情商(學(xué)習(xí)了更多會(huì)話場(chǎng)景和話術(shù)的識(shí)別)，會(huì)某些角度更人類(lèi)化，這個(gè)能力增強(qiáng)的是寫(xiě)作和指令跟隨范式理解等能力。當(dāng)然我個(gè)人認(rèn)為想做成4.5演示 demo中的那樣光靠知識(shí)堆是不夠的，RLHF去和人類(lèi)對(duì)齊才是關(guān)鍵，但是由于這模型太大了，SFT和RL都變得很痛苦(后訓(xùn)練是不費(fèi)算力，但是也得看基座模型有多大??)。

3-關(guān)于未來(lái): 下一代推理模型o的基石(上一代是4o)，然后，其實(shí)本來(lái)也是給合成數(shù)據(jù)用的，內(nèi)部人用，可是戰(zhàn)況太激烈，不得已出來(lái)接客了。推理成本過(guò)高，即使用speculating decoding, 也很貴，而且draft model估計(jì)還在優(yōu)化中，所以第一期web只給200刀用戶使用，下周或者下下周20刀才配，api day1就有，但是，是現(xiàn)在api價(jià)格的20倍以上(一般的榜單是測(cè)不起了)??各種煙霧彈，o3mini也沒(méi)開(kāi)源

本文轉(zhuǎn)載自??熵減AI??，作者：周博洋