如果AI系統(tǒng)能自己設(shè)計(jì)出更強(qiáng)大的AI，智能爆炸可能很快就要到來了！而人類，會(huì)被AI迅速甩在后面。

最近，硅谷投資人、EverFi CEO兼創(chuàng)始人Tom Davidson等人發(fā)表了一篇長(zhǎng)文硬核博客，詳細(xì)討論了智能爆炸（Intelligence explosion, IE）的類型以及對(duì)應(yīng)的發(fā)生概率。

這篇博文里，有許多非常炸裂的設(shè)想，但仔細(xì)一想，仿佛離變成現(xiàn)實(shí)并不遠(yuǎn)了。

比如，AI會(huì)改進(jìn)算法和軟件，提高AI芯片的質(zhì)量，同時(shí)提高芯片的產(chǎn)量。

這些過程，會(huì)形成幾種循環(huán)，周期分別是3個(gè)月、數(shù)月，以及數(shù)年。相對(duì)應(yīng)的，就是軟件大爆炸、AI技術(shù)大爆炸，和全棧大爆炸！

當(dāng)反饋循環(huán)首次啟動(dòng)，AI進(jìn)步就有有一個(gè)初始的加速。

然后，作者通過計(jì)算給出了驚人的結(jié)論：在到達(dá)AI到達(dá)物理極限之前，這些反饋循環(huán)最終將導(dǎo)致有效計(jì)算能力增加13到33個(gè)數(shù)量級(jí)！

最終，爆炸性的結(jié)論來了——

AI在達(dá)到有效的物理極限之前，能進(jìn)步到什么程度？

答案是，軟件效率可能提升大概13個(gè)數(shù)量級(jí)，也就是1000億倍；芯片技術(shù)可能提升100倍左右；芯片制造規(guī)?？赡軘U(kuò)大1萬倍左右！

所以，哪個(gè)國家會(huì)率先實(shí)現(xiàn)全棧大爆炸？答案是——很大可能是中國。

AI給自己設(shè)計(jì)軟件，開啟進(jìn)化之路

今天看起來像科幻的課題，可能會(huì)在十年內(nèi)成為現(xiàn)實(shí)。

如何理解即將到來的變化？

通向繁榮未來的有哪些路徑？

Forethough是研究型非營利組織，專注于如何應(yīng)對(duì)過渡到擁有超智能AI系統(tǒng)的世界。

該組織認(rèn)為AI系統(tǒng)很快可能比人類更具能力，迅速推動(dòng)技術(shù)發(fā)展。

一旦AI系統(tǒng)能自己設(shè)計(jì)、打造出更強(qiáng)大的AI系統(tǒng)，AI的發(fā)展速度就會(huì)加快，我們可能會(huì)見證一場(chǎng)智能爆炸（IE）。

AI的能力會(huì)飛速提升，遠(yuǎn)超人類水平。

經(jīng)典的智能爆炸，涉及一個(gè)反饋循環(huán)：AI設(shè)計(jì)出更好的軟件，這些軟件助力打造出更強(qiáng)大的AI，又能進(jìn)一步改進(jìn)軟件，形成持續(xù)的良性循環(huán)。

3種反饋，3種智能爆炸

AI開發(fā)過程中，有許多環(huán)節(jié)都能產(chǎn)生類似的正反饋，主要有以下三種：

• 軟件反饋循環(huán)：AI開發(fā)出更好的軟件，包括訓(xùn)練算法、訓(xùn)練后的增強(qiáng)、利用運(yùn)行時(shí)計(jì)算的方法（如o3）、合成數(shù)據(jù)以及任何非計(jì)算改進(jìn)。
• 芯片技術(shù)反饋循環(huán)：AI設(shè)計(jì)更好的芯片，包括NVIDIA、TSMC、ASML等半導(dǎo)體公司進(jìn)行的前沿研究和設(shè)計(jì)工作。
• 芯片生產(chǎn)反饋循環(huán)：AI和機(jī)器人生產(chǎn)更多芯片。

      三種反饋循環(huán)

這些循環(huán)能引出三種智能爆炸：

一種是僅由軟件優(yōu)化帶來的軟件智能爆炸；

一種是軟件和芯片技術(shù)共同改進(jìn)引發(fā)的AI技術(shù)智能爆炸；

還有一種是軟件、芯片技術(shù)與芯片生產(chǎn)帶來的全棧智能爆炸。

三次智能爆炸

即使軟件智能爆炸未能實(shí)現(xiàn)，或者很快陷入瓶頸，AI技術(shù)和全棧智能爆炸仍然是可能的。

智能爆炸一開始可能較為平緩，但后續(xù)發(fā)展速度極有可能大幅加快。

研究顯示，每個(gè)反饋循環(huán)都能推動(dòng)AI的加速進(jìn)步。

在達(dá)到物理極限之前，有效算力有望提升20到30個(gè)數(shù)量級(jí)，使AI能力實(shí)現(xiàn)質(zhì)的飛躍。

一般來說，軟件改進(jìn)的時(shí)間延遲最短，接著是芯片技術(shù)改進(jìn)，芯片制造的時(shí)間最長(zhǎng)。

這些反饋循環(huán)可能推動(dòng)三種不同類型的智能爆炸（IE）：

• 軟件IE：僅AI驅(qū)動(dòng)的軟件改進(jìn)，就足以推動(dòng)AI快速且持續(xù)加速發(fā)展。
• AI技術(shù)IE：需要AI在軟件和芯片技術(shù)兩個(gè)方面同時(shí)改進(jìn)，但無需在芯片生產(chǎn)環(huán)節(jié)進(jìn)行優(yōu)化。
• 全棧IE：要求在軟件、芯片技術(shù)和芯片生產(chǎn)三個(gè)方面均有所改進(jìn)。

如果有效的物理極限還遠(yuǎn)，IE的規(guī)模就會(huì)更大，速度也會(huì)更快。

預(yù)計(jì)在達(dá)到極限之前，軟件反饋循環(huán)能將有效算力提高大約13個(gè)數(shù)量級(jí)（OOMs），芯片技術(shù)循環(huán)還能提高6個(gè)數(shù)量級(jí)，芯片生產(chǎn)反饋循環(huán)能再提高5個(gè)數(shù)量級(jí)。

若能把太空中太陽的能量都利用起來，還能再提高9個(gè)數(shù)量級(jí)。

如果近期有效算力增加與AI能力提升之間的關(guān)系繼續(xù)成立，軟件將實(shí)現(xiàn)4個(gè)「GPT量級(jí)」的能力飛躍，即4個(gè)GPT-3到GPT-4的提升。

芯片技術(shù)方面可再實(shí)現(xiàn)約2個(gè)「GPT量級(jí)」的提升，芯片生產(chǎn)大約有2到5個(gè)「GPT量級(jí)」的提升。

這些智能爆炸，擁有不同的戰(zhàn)略意義。

比如軟件大爆炸，最有可能出現(xiàn)在美國，因?yàn)檫@些AI芯片和算法的所有者掌握著高度集中的權(quán)力。

AI技術(shù)爆炸，最有可能出現(xiàn)在美國和半導(dǎo)體供應(yīng)鏈中的其他國家和地區(qū)，比如臺(tái)灣省、韓國、日本、荷蘭，而權(quán)力會(huì)更廣泛地分布在AI算法、AI芯片和半導(dǎo)體供應(yīng)鏈所有者之間。

而全棧爆炸，更有可能發(fā)生在中國和海灣國家等擁有強(qiáng)大工業(yè)基礎(chǔ)的國家，這種爆炸也會(huì)將權(quán)力更廣泛地分布在整個(gè)工業(yè)基礎(chǔ)中。

三種反饋循環(huán)

1965年，數(shù)學(xué)家I. J. Good提出了智能爆炸的概念：

假設(shè)一臺(tái)超智能機(jī)器被定義為能遠(yuǎn)遠(yuǎn)超越最聰明人類的機(jī)器。由于設(shè)計(jì)機(jī)器屬于智力活動(dòng)范疇，一臺(tái)超智能機(jī)器可以設(shè)計(jì)出更先進(jìn)的機(jī)器，那么無疑會(huì)發(fā)生一場(chǎng)「智能爆炸」，人類的智力將被遠(yuǎn)遠(yuǎn)拋在后面。因此，第一臺(tái)超智能機(jī)器將是人類的最后一項(xiàng)發(fā)明。

一旦AI能自主設(shè)計(jì)和構(gòu)建更強(qiáng)大的AI系統(tǒng)，就會(huì)形成反饋循環(huán)。

實(shí)際上，AI開發(fā)中有許多環(huán)節(jié)可能產(chǎn)生正反饋循環(huán)，其中有三個(gè)對(duì)IE有推動(dòng)作用的關(guān)鍵反饋循環(huán)：

軟件反饋循環(huán)：AI對(duì)自身算法、數(shù)據(jù)、訓(xùn)練后優(yōu)化和其他軟件技術(shù)進(jìn)行改進(jìn)。典型例子是完全自動(dòng)化AI開發(fā)實(shí)驗(yàn)室的研究和工作。在這里，AI系統(tǒng)改進(jìn)算法，這些算法用于開發(fā)更好的AI系統(tǒng)，進(jìn)一步改進(jìn)算法。

芯片技術(shù)反饋循環(huán)：AI改進(jìn)AI芯片的質(zhì)量。典型例子是NVIDIA、TSMC、ASML等半導(dǎo)體公司研發(fā)部門的自動(dòng)化，能在不增加工廠的情況下，做出運(yùn)算速度更快、性能更好的芯片。在這些芯片上訓(xùn)練或推理，AI能力得到提升。

芯片生產(chǎn)反饋循環(huán)：AI增加AI芯片的產(chǎn)量。典型例子是機(jī)器人完全自動(dòng)化芯片工廠從建設(shè)到運(yùn)營的全過程，包括開采原材料、運(yùn)輸、工廠建設(shè)和日常運(yùn)轉(zhuǎn)。機(jī)器人建造更多的工廠、生產(chǎn)更多芯片，用于訓(xùn)練更強(qiáng)的AI系統(tǒng)，然后設(shè)計(jì)更好的機(jī)器人去建更多的芯片工廠。

反饋循環(huán)需要多久

智能爆炸到底能多快發(fā)生呢？

智能爆炸不太可能一下子就發(fā)生，因?yàn)槊總€(gè)反饋循環(huán)都有時(shí)間延遲。

軟件反饋循環(huán)的時(shí)間最短，芯片生產(chǎn)反饋循環(huán)的時(shí)間最長(zhǎng)：

• 訓(xùn)練最先進(jìn)的AI模型，大約需要3個(gè)月，這是軟件反饋循環(huán)里主要的時(shí)間延遲，不過微調(diào)等優(yōu)化耗時(shí)少得多。
• 對(duì)于芯片技術(shù)反饋循環(huán)，將新技術(shù)集成到工廠并生產(chǎn)出新芯片，通常需要數(shù)月。
• 建設(shè)新的芯片制造廠，往往需要數(shù)年，這是芯片生產(chǎn)反饋循環(huán)所需的。

三種反饋循環(huán)，時(shí)間延遲用橙色表示

因此，軟件改進(jìn)的時(shí)間最短，其次是芯片技術(shù)改進(jìn)，芯片生產(chǎn)需要的時(shí)間最長(zhǎng)。

進(jìn)一步細(xì)分三個(gè)反饋循環(huán)，并將每個(gè)細(xì)分時(shí)間延遲的持續(xù)時(shí)間可視化

反饋循環(huán)的順序

理論上，IE可以由這三個(gè)反饋循環(huán)任意組合、按任意順序出現(xiàn)。

但實(shí)際上，軟件反饋循環(huán)很可能最先開始，然后是芯片技術(shù)，最后是芯片生產(chǎn)。

軟件是虛擬的，因此可能最先被自動(dòng)化：

• AI實(shí)驗(yàn)室可以自己生成自動(dòng)化所需的所有數(shù)據(jù)。
• AI實(shí)驗(yàn)室直接管自己的工作流程，這就更容易把軟件自動(dòng)化。
• 和芯片技術(shù)、芯片生產(chǎn)反饋循環(huán)相比，軟件最初的反饋循環(huán)時(shí)間更短。

從定義來看，芯片技術(shù)也是虛擬的，但可能在軟件之后自動(dòng)化：

• 芯片技術(shù)往往依賴研究人員的專業(yè)知識(shí)，且這些研究人員不在AI實(shí)驗(yàn)室工作，因此更難獲取訓(xùn)練數(shù)據(jù)。
• 芯片技術(shù)涉及的任務(wù)比軟件更多樣，自動(dòng)化所有任務(wù)需要更長(zhǎng)時(shí)間。
• 硬件研發(fā)實(shí)驗(yàn)必須在現(xiàn)實(shí)世界中進(jìn)行，很難自動(dòng)判斷任務(wù)完成得好不好。

芯片生產(chǎn)涉及半導(dǎo)體供應(yīng)鏈的各個(gè)環(huán)節(jié)，涉及廣泛的認(rèn)知與物理任務(wù)，因此可能最后被自動(dòng)化。

機(jī)器人技術(shù)一直是AI進(jìn)步相對(duì)較慢的領(lǐng)域，而芯片生產(chǎn)需要先進(jìn)的機(jī)器人技術(shù)。

首先，他們會(huì)優(yōu)先考慮AI軟件，當(dāng)軟件的潛力挖掘殆盡后，會(huì)將精力轉(zhuǎn)向芯片設(shè)計(jì)（比英偉達(dá)的硬件設(shè)計(jì)，無需改裝芯片工廠）。同時(shí)，還會(huì)想辦法研發(fā)更快建造芯片工廠的新技術(shù)，減少時(shí)間滯后。

三種智能爆炸

要是這些反饋循環(huán)足夠強(qiáng)，就會(huì)帶來智能爆炸，讓AI能力飛速提升！

有三種可能的類型：

• 軟件IE：只靠軟件反饋循環(huán)就能引發(fā)，最有可能突然發(fā)生。
• AI技術(shù)IE：軟件和芯片技術(shù)反饋循環(huán)共同作用，因?yàn)锳I在改進(jìn)軟件和芯片技術(shù)時(shí)，實(shí)現(xiàn)了認(rèn)知工作自動(dòng)化，但不需要物理自動(dòng)化。和軟件相比，這種IE沒那么突然。
• 全棧IE：三個(gè)反饋循環(huán)一起發(fā)力，這種情況最不可能突然發(fā)生。

三種智能爆炸類型可能依次出現(xiàn)，也可能僅出現(xiàn)其中一種或兩種，甚至一種都不出現(xiàn)。

三個(gè)反饋循環(huán)與三次智能爆炸的關(guān)聯(lián)

智能爆炸呈現(xiàn)這種順序，很大程度上是由于相關(guān)反饋循環(huán)實(shí)現(xiàn)自動(dòng)化的順序。

即使軟件和芯片技術(shù)反饋同時(shí)自動(dòng)化，因?yàn)檐浖h(huán)的時(shí)間延遲更短，軟件IE仍會(huì)先于AI技術(shù)IE。

軟件智能大爆發(fā)

目前，AI技術(shù)IE和全棧IE尚未得到充分深入的研究分析。

三種反饋循環(huán)的分析

AI的發(fā)展，會(huì)隨著時(shí)間推移加速嗎？

除了時(shí)間延遲，還有個(gè)因素得考慮，就是這些反饋循環(huán)可能不夠強(qiáng)，反饋太弱不足以讓AI發(fā)展加速。

反饋循環(huán)剛自動(dòng)啟動(dòng)時(shí)，AI發(fā)展會(huì)提速。但如果循環(huán)不夠強(qiáng)，之后發(fā)展速度可能又會(huì)降下來。

一開始，是人類推動(dòng)AI發(fā)展（上圖綠色部分）。

接著，改進(jìn)AI的工作慢慢實(shí)現(xiàn)自動(dòng)化（上圖橙色部分）。

最后，基本都是AI系統(tǒng)自我改進(jìn)（上圖藍(lán)色部分）。

從實(shí)際經(jīng)驗(yàn)來看，在最后階段，AI發(fā)展開始會(huì)加速，直到最后趨于平緩。

反饋循環(huán)能不能讓發(fā)展加速，就看輸入翻倍的時(shí)候，輸出能增加多少：

要是輸出增加不止一倍，那發(fā)展就會(huì)加速，因?yàn)橄乱淮屋斎敕叮芾玫妮敵霰壬弦淮味?，所以速度?huì)更快。

研究改進(jìn)AI軟件和硬件要付出的努力，的確能找到一些實(shí)際證據(jù)。

分析發(fā)現(xiàn)，要是沒有監(jiān)管這類人為限制，軟件智能爆炸概率大約50%，AI技術(shù)智能爆炸大概65%，全棧智能爆炸可能性大概80%。

1. 軟件智能爆炸：很可能會(huì)加速，因?yàn)檐浖答佈h(huán)本身，就可能維持加速發(fā)展，可能性大概50%。

在各個(gè)AI領(lǐng)域，效率提升很明顯，研究投入翻倍，計(jì)算效率提升不止一倍（Epoch估計(jì)在多個(gè)領(lǐng)域，投入翻倍，輸出能增加0.8到3.5倍）。

考慮了效率之外的其他發(fā)展因素，再做些調(diào)整，加速發(fā)展好像挺合理。

而Davidson預(yù)計(jì)，每增加1倍的認(rèn)知投入，輸出能增加1.2倍，范圍在0.4到3.6倍之間）

2. AI技術(shù)智能爆炸：加速的可能性也很大。只要芯片技術(shù)反饋循環(huán)，就足以維持加速發(fā)展，可能性大概65%。

如此看來，軟件和芯片技術(shù)反饋循環(huán)加起來，很可能推動(dòng)加速發(fā)展，可能性大概75%。

從歷史數(shù)據(jù)看，硬件研發(fā)投入翻倍，每美元能換來的FLOP大概提升5倍。

要是只算認(rèn)知投入，這個(gè)數(shù)字會(huì)降低，要是接近物理極限，也會(huì)降低，但投入翻倍，輸出增加一倍以上還是有可能的。

3. 全棧智能爆炸：極有可能加速。

芯片制造反饋循環(huán)本身，很可能維持加速發(fā)展，可能性大概80%。

和其他反饋循環(huán)一起，全棧智能爆炸加速的可能性大概90%。

要是能造出建造物理資本用的機(jī)器人和基礎(chǔ)設(shè)施，投入翻倍，產(chǎn)出基本也能翻倍。

因?yàn)椴豢紤]資源限制，機(jī)器人多一倍，造出來的東西也能多一倍。

要是機(jī)器人還能自我改進(jìn)，那投入翻倍，產(chǎn)出增加肯定不止一倍。

當(dāng)然，要是稀缺自然資源開采越來越難，投入翻倍，產(chǎn)出增加可能不到一倍。

但從歷史經(jīng)驗(yàn)看，原材料稀缺的時(shí)候，創(chuàng)新一般能彌補(bǔ)這個(gè)問題。

不過要注意，把監(jiān)管等人為限制考慮進(jìn)去，總體加速發(fā)展的可能性會(huì)降低。

達(dá)到物理極限之前，AI能發(fā)展到何種程度？

除了發(fā)展速度會(huì)不會(huì)加快，還要考慮每個(gè)反饋循環(huán)在接近物理極限前，AI能有多大發(fā)展。

要是物理上限很高，那AI總體發(fā)展空間就大，而且有更多時(shí)間加速，發(fā)展的最快速度也就能更快。

現(xiàn)在，有效訓(xùn)練計(jì)算大概每3個(gè)月翻倍一次。

而理論上，發(fā)展最快速度能達(dá)到近期速度的100倍，差不多是「有效訓(xùn)練算力」每天翻倍。

但實(shí)際上，可能因?yàn)榧夹g(shù)限制或者人為因素，到不了這么快，也可能還沒加速到速度上限，就達(dá)到物理極限了。

總的來說，很難準(zhǔn)確估計(jì)最快速度，但至少看起來會(huì)非常快。

如果這些極限更高，那么不僅可以實(shí)現(xiàn)更多的總進(jìn)展，且進(jìn)展的最大速度（包括加速度）將更快

可以從有效計(jì)算的角度，來衡量離物理極限有多遠(yuǎn)。

在達(dá)到物理極限前，估計(jì)軟件效率可能提升大概13個(gè)數(shù)量級(jí)，也就是10000億倍；芯片技術(shù)可能提升100倍左右；芯片制造規(guī)?？赡軘U(kuò)大1萬倍左右。

1. 軟件：效率可能提升大概13個(gè)數(shù)量級(jí)，但不確定性很大。

要是一開始用1e29 FLOP訓(xùn)練頂級(jí)AI，比人類學(xué)習(xí)（大概1e24 FLOP）效率低5個(gè)數(shù)量級(jí)左右。

和人腦相比，軟件估計(jì)還有大概8個(gè)數(shù)量級(jí)的提升空間，不確定性特別大（這里只算訓(xùn)練效率，沒算軟件其他方面的發(fā)展）。

2. 芯片技術(shù)：在現(xiàn)在的技術(shù)模式下，可能提升2個(gè)數(shù)量級(jí)左右。

要是技術(shù)接近蘭道爾極限（不可逆計(jì)算在能量效率上的物理限制），總共可能提升6個(gè)數(shù)量級(jí)左右。

要是用可逆計(jì)算，可能提升空間更大。

3. 芯片制造：利用地球上的能量，規(guī)?？赡軘U(kuò)大5個(gè)數(shù)量級(jí)左右。

要是用太空太陽能，把太陽發(fā)出的能量都收集起來，還能再擴(kuò)大9個(gè)數(shù)量級(jí)左右。

每個(gè)反饋循環(huán)在達(dá)到物理限制之前，總共有多少改進(jìn)空間的估計(jì)。

把這三個(gè)反饋循環(huán)的極限加起來，就能知道三種智能爆炸在達(dá)到物理極限前能發(fā)展到啥程度：

1. 軟件智能爆炸：有效算力可能提升13個(gè)數(shù)量級(jí)左右，甚至更多。

2. AI技術(shù)智能爆炸：有效算力可能提升19個(gè)數(shù)量級(jí)以上。

3. 全棧智能爆炸：利用地球上的能量，有效算力可能提升24個(gè)數(shù)量級(jí)左右；要是利用所有太陽能，可能提升33個(gè)數(shù)量級(jí)左右。

對(duì)每次智能爆炸在達(dá)到物理極限之前，總共有多少改進(jìn)空間的估計(jì)。

智能爆炸的速度

下面是三種比較可能出現(xiàn)的情況：

1. 漸進(jìn)情況：全棧智能爆炸慢慢發(fā)生。

光軟件和芯片技術(shù)反饋循環(huán)，推動(dòng)AI加速發(fā)展。

因?yàn)闀r(shí)間延遲，全棧智能爆炸剛開始發(fā)展慢，和2020-2024年的速度差不多。

但隨著時(shí)間推移，它會(huì)加速，最后變得特別快，翻倍時(shí)間可能就幾個(gè)月，甚至更短，因?yàn)橛行锢順O限很高。

2. 波動(dòng)情況：先是軟件智能爆炸，但提升3個(gè)數(shù)量級(jí)左右就慢下來了。之后，AI技術(shù)和（或）全棧智能爆炸開始，一開始速度比較慢，最后變得特別快。

3. 快速情況：軟件智能爆炸規(guī)模很大，能提升6個(gè)數(shù)量級(jí)以上，而且?guī)讉€(gè)月內(nèi)就發(fā)生，而且物理極限還很高。

這讓技術(shù)有很大改進(jìn)，大大縮短了芯片技術(shù)和芯片制造反饋循環(huán)的時(shí)間延遲。

所以，后面的AI技術(shù)和（或）全棧智能爆炸一開始就很快。

而且在軟件智能爆炸趨于平穩(wěn)之前，不會(huì)明顯減速。

對(duì)于前兩種情況，也就是超級(jí)AI要過很久、等產(chǎn)業(yè)擴(kuò)張后才出現(xiàn)的情況，現(xiàn)在還沒多少人從戰(zhàn)略角度好好思考過。