神經(jīng)網(wǎng)絡(luò)與符號(hào)系統(tǒng)大一統(tǒng)!華盛頓大學(xué)教授把AI邏輯統(tǒng)一成了張量表示
在通往AGI的道路上,人類(lèi)欠缺的是一種合適的編程語(yǔ)言?
華盛頓大學(xué)計(jì)算機(jī)學(xué)院教授Pedro Domingos在最新的獨(dú)作論文中表示,當(dāng)前AI領(lǐng)域使用的編程語(yǔ)言,無(wú)一例外全都存在缺陷。
同時(shí),Domingos還提出了一種新的統(tǒng)一語(yǔ)言,將AI邏輯統(tǒng)一成了張量表示。

這篇論文,將邏輯推理轉(zhuǎn)化為純張量代數(shù),消除了主流人工智能模型中離散邏輯與連續(xù)梯度之間的界限,讓演繹和神經(jīng)計(jì)算使用同一種語(yǔ)言。
其中沒(méi)有符號(hào)或啟發(fā)式命令,僅靠數(shù)學(xué)就實(shí)現(xiàn)了邏輯與學(xué)習(xí)的融合,使神經(jīng)網(wǎng)絡(luò)能夠以符號(hào)精度進(jìn)行推理、符號(hào)系統(tǒng)像神經(jīng)網(wǎng)絡(luò)一樣學(xué)習(xí)。
Domingos本人也自我評(píng)價(jià)稱(chēng),他通過(guò)這篇新作,發(fā)現(xiàn)了通往AGI的道路。

Domingos對(duì)自己的成果非常自信,有網(wǎng)友詢(xún)問(wèn)能不能用這套系統(tǒng)來(lái)做Vibe Coding,而Domingos的回答是,“比Python強(qiáng)太多”。

“AI顯然還沒(méi)有找到它的語(yǔ)言”
在論文中,Domingos把當(dāng)前AI領(lǐng)域使用的語(yǔ)言全都批判了一番,認(rèn)為它們?nèi)即嬖谌毕荨?/span>
首當(dāng)其沖的就是現(xiàn)在最常用的Python,Domingos認(rèn)為其“從未為AI設(shè)計(jì)”。
具體來(lái)說(shuō),雖然像PyTorch和TensorFlow這樣的庫(kù)提供了自動(dòng)微分和高效的GPU實(shí)現(xiàn),但它們對(duì)自動(dòng)化推理和知識(shí)獲取“毫無(wú)幫助”。
這導(dǎo)致在這些功能上只能依靠“hacky attempts”(拼湊式的臨時(shí)方案),既不系統(tǒng),也不高效。
其他語(yǔ)言也有各種各樣的問(wèn)題。
比如早期的LISP和Prolog等AI語(yǔ)言,雖然“使符號(hào)AI成為可能”,但缺乏可擴(kuò)展性和對(duì)學(xué)習(xí)的支持。
圖模型雖然為概率AI提供了“通用語(yǔ)言”(lingua franca),但其推理成本高昂,限制了實(shí)際使用;Markov邏輯這類(lèi)融合符號(hào)與概率AI的形式系統(tǒng),也是因推理代價(jià)而受限。
作者還批評(píng)神經(jīng)符號(hào)AI試圖將深度學(xué)習(xí)與符號(hào)AI結(jié)合的做法,認(rèn)為這完全是將兩者的糟粕“完美結(jié)合”。
研究了這一圈之后,Domingos得出結(jié)論——“AI顯然還沒(méi)有找到它的語(yǔ)言”。
那么,AI到底需要一種什么樣的語(yǔ)言呢?
統(tǒng)一張量方程表達(dá)神經(jīng)網(wǎng)絡(luò)
Domingos提出了一種全新的AI編程語(yǔ)言框架,名為T(mén)ensor Logic,作者認(rèn)為它有潛力成為整個(gè)人工智能領(lǐng)域的“母語(yǔ)”。
Tensor Logic的目標(biāo),就是提供一個(gè)統(tǒng)一表達(dá)神經(jīng)網(wǎng)絡(luò)與符號(hào)推理的語(yǔ)言體系,讓學(xué)習(xí)、推理與知識(shí)表示在同一個(gè)數(shù)學(xué)框架中自然展開(kāi)。
這樣做的原因是Domingos認(rèn)為邏輯規(guī)則與張量運(yùn)算中的愛(ài)因斯坦求和(Einstein summation)在結(jié)構(gòu)上是等價(jià)的,邏輯程序中通過(guò)連接條件和投影來(lái)進(jìn)行推理,而這些都可以用張量乘法與求和表達(dá)出來(lái)。
以Datalog為例,規(guī)則中的“如果A且B,則C”可以看作是兩個(gè)布爾張量的join操作,再通過(guò)投影消去中間變量得到結(jié)果張量,最后通過(guò)一個(gè)step函數(shù)判斷該路徑是否存在。

這種等價(jià)性意味著,傳統(tǒng)的符號(hào)邏輯推理過(guò)程完全可以轉(zhuǎn)換成張量運(yùn)算,不再需要專(zhuān)門(mén)的邏輯引擎。
與此同時(shí),神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)也天然適配這種表示方式。
無(wú)論是多層感知機(jī)的線(xiàn)性變換與激活函數(shù)、RNN的時(shí)序遞歸、CNN的卷積操作,還是Transformer中的注意力機(jī)制和歸一化操作,都可以用一組張量方程串聯(lián)起來(lái)表達(dá)。

換句話(huà)說(shuō),Tensor Logic用一套語(yǔ)言結(jié)構(gòu),同時(shí)覆蓋了邏輯編程與深度學(xué)習(xí)的計(jì)算圖。
整個(gè)語(yǔ)言的表達(dá)、推理與學(xué)習(xí)過(guò)程都通過(guò)張量的連接(join)、投影(projection)和非線(xiàn)性變換完成,不包含任何傳統(tǒng)編程語(yǔ)言中的控制結(jié)構(gòu)、關(guān)鍵字或多樣化語(yǔ)句類(lèi)型。
語(yǔ)言中每一條語(yǔ)句都是一個(gè)張量等式,左邊是待求張量,右邊是由其他張量構(gòu)成的表達(dá)式。
張量之間通過(guò)愛(ài)因斯坦求和約定進(jìn)行乘法和求和操作,未出現(xiàn)在等式左側(cè)的索引自動(dòng)被求和,出現(xiàn)在左側(cè)的索引表示保留維度。
可選的非線(xiàn)性函數(shù)(如 step、sigmoid、softmax)可作用于右側(cè)表達(dá)式的結(jié)果,實(shí)現(xiàn)激活、歸一化或閾值判斷。
由于每條語(yǔ)句都是張量之間的運(yùn)算,整段程序天然可以進(jìn)行自動(dòng)微分,也無(wú)需區(qū)分“程序結(jié)構(gòu)”和“模型結(jié)構(gòu)”。
此外,作者還提出在嵌入空間中進(jìn)行邏輯推理的機(jī)制。
對(duì)象的向量表示可以通過(guò)張量積組合成關(guān)系的表示,而推理過(guò)程則是對(duì)這些嵌入結(jié)構(gòu)進(jìn)行組合、投影與匹配。
通過(guò)調(diào)節(jié)激活函數(shù)的溫度參數(shù),可以實(shí)現(xiàn)從精確推理到模糊類(lèi)比的連續(xù)過(guò)渡,從而兼顧邏輯的可靠性和神經(jīng)網(wǎng)絡(luò)的泛化能力。
那么,Tensor Logic具體又是如何實(shí)現(xiàn)的?
具體實(shí)現(xiàn)
Domingos展示了如何使用Tensor Logic以統(tǒng)一的張量方程形式實(shí)現(xiàn)多個(gè)主流AI方法,涵蓋神經(jīng)網(wǎng)絡(luò)、符號(hào)AI、核方法與概率圖模型。
在Tensor Logic中,神經(jīng)網(wǎng)絡(luò)的每一層都可以用張量方程表示。
例如多層感知機(jī)(MLP)通過(guò)張量的乘法和激活函數(shù)定義隱藏層之間的映射,可用一個(gè)三維張量W來(lái)表示不同層的連接權(quán)重。

遞歸神經(jīng)網(wǎng)絡(luò)(RNN)則可利用時(shí)間維度上的狀態(tài)共享,使用“虛擬索引”實(shí)現(xiàn)狀態(tài)在時(shí)間步之間的更新。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)通過(guò)在圖像上滑動(dòng)小的濾波器窗口,實(shí)現(xiàn)位置不變的特征提取。卷積操作通過(guò)索引偏移實(shí)現(xiàn),池化操作通過(guò)索引除法實(shí)現(xiàn)聚合。

圖神經(jīng)網(wǎng)絡(luò)(GNN)以節(jié)點(diǎn)之間的鄰接關(guān)系表示圖結(jié)構(gòu),用嵌入張量表示每個(gè)節(jié)點(diǎn)的狀態(tài)。每一層的傳播通過(guò)鄰接矩陣和特征張量的join實(shí)現(xiàn)鄰居信息聚合,再通過(guò)線(xiàn)性變換和激活函數(shù)更新自身狀態(tài)。

Transformer模型使用注意力機(jī)制捕捉序列中遠(yuǎn)距離依賴(lài),Tensor Logic用權(quán)重矩陣分別計(jì)算query、key、value向量,并通過(guò)注意力分?jǐn)?shù)加權(quán)求和。
多個(gè)頭輸出拼接后進(jìn)入后續(xù)的歸一化、殘差連接和前饋層,每一層的所有結(jié)構(gòu)都是張量級(jí)別的操作。

其余像符號(hào)AI、概率、核方法等不同AI范式,也都可以納入這種表達(dá)體系中。
總之,Tensor Logic通過(guò)一套統(tǒng)一的張量語(yǔ)法,使不同類(lèi)型的AI系統(tǒng)第一次在語(yǔ)言層面實(shí)現(xiàn)了融合。
論文地址:
https://arxiv.org/abs/2510.12269
































