模擬當(dāng)今量子計算設(shè)備的一個關(guān)鍵挑戰(zhàn)，是學(xué)習(xí)和編碼量子比特之間發(fā)生的復(fù)雜關(guān)聯(lián)的能力。基于機(jī)器學(xué)習(xí)語言模型的新興技術(shù)已經(jīng)顯示出學(xué)習(xí)量子態(tài)的獨(dú)特能力。

近日，加拿大滑鐵盧大學(xué)的研究人員在《Nature Computational Science》發(fā)表題為《Language models for quantum simulation》 的 Perspective 文章，強(qiáng)調(diào)了語言模型在構(gòu)建量子計算機(jī)方面所做出的貢獻(xiàn)，并討論了它們在量子優(yōu)勢競爭中的未來角色。

論文鏈接：https://www.nature.com/articles/s43588-023-00578-0

量子計算機(jī)已經(jīng)開始成熟，最近許多設(shè)備都聲稱具有量子優(yōu)勢。經(jīng)典計算能力的持續(xù)發(fā)展，例如機(jī)器學(xué)習(xí)技術(shù)的快速崛起，引發(fā)了許多圍繞量子和經(jīng)典策略之間相互作用的令人興奮的場景。隨著機(jī)器學(xué)習(xí)繼續(xù)與量子計算堆?？焖偌?，提出了一個問題：它是否可以在未來以強(qiáng)大的方式改變量子技術(shù)？

當(dāng)今量子計算機(jī)提出的一個關(guān)鍵挑戰(zhàn)是量子態(tài)的學(xué)習(xí)。近年來迅速進(jìn)入該領(lǐng)域的生成模型給出了學(xué)習(xí)量子態(tài)的兩種廣泛策略。

圖示：自然語言及其他領(lǐng)域的生成模型。（來源：論文）

首先，通過代表量子計算機(jī)測量輸出的數(shù)據(jù)集，數(shù)據(jù)驅(qū)動的學(xué)習(xí)通過傳統(tǒng)的最大似然方法進(jìn)行。其次，量子態(tài)可以通過所謂的物理學(xué)方法來解決，該方法利用量子比特之間相互作用的知識來定義替代損失函數(shù)。

無論哪種情況，量子態(tài)空間（希爾伯特空間）的大小都會隨著量子比特數(shù)量 N 呈指數(shù)增長，這是典型的維數(shù)災(zāi)難。這對于擴(kuò)展模型中表示量子態(tài)所需的參數(shù)數(shù)量以及尋找最佳參數(shù)值的計算效率提出了嚴(yán)峻的挑戰(zhàn)?；谌斯ど窠?jīng)網(wǎng)絡(luò)的生成模型非常適合應(yīng)對這一挑戰(zhàn)。

語言模型是一種特別有前途的生成模型，它已成為解決高復(fù)雜性語言問題的強(qiáng)大架構(gòu)。由于其可擴(kuò)展性，也適用于量子計算中的問題。如今，隨著工業(yè)語言模型進(jìn)入數(shù)萬億個參數(shù)的范圍，人們很自然地想知道類似的大型模型在物理學(xué)中可以實(shí)現(xiàn)什么，無論是在擴(kuò)展量子計算等應(yīng)用中，還是在量子物質(zhì)、材料和設(shè)備的基礎(chǔ)理論理解中。

圖示：量子物理問題及其變分公式。（來源：論文）

量子計算的自回歸模型

語言模型是旨在從自然語言數(shù)據(jù)推斷概率分布的生成模型。

生成模型的任務(wù)是學(xué)習(xí)語料庫中出現(xiàn)的單詞之間的概率關(guān)系，允許每次生成一個標(biāo)記的新短語。主要困難在于對單詞之間所有復(fù)雜的依賴關(guān)系進(jìn)行建模。

類似的挑戰(zhàn)也適用于量子計算機(jī)，其中糾纏等非局部相關(guān)性會導(dǎo)致量子比特之間高度不平凡的依賴性。因此，一個有趣的問題是，工業(yè)界開發(fā)的強(qiáng)大自回歸架構(gòu)是否也可以應(yīng)用于解決強(qiáng)相關(guān)量子系統(tǒng)中的問題。

圖示：文本和量子比特序列的自回歸策略。（來源：論文）

RNN 波函數(shù)

RNN 是任何包含循環(huán)連接的神經(jīng)網(wǎng)絡(luò)，因此 RNN 單元的輸出取決于先前的輸出。自 2018 年以來，RNN 的使用迅速擴(kuò)大，涵蓋了理解量子系統(tǒng)中各種最具挑戰(zhàn)性的任務(wù)。

RNN 適合這些任務(wù)的一個關(guān)鍵優(yōu)勢是它們能夠?qū)W習(xí)和編碼量子比特之間高度重要的相關(guān)性，包括本質(zhì)上非局域的量子糾纏。

圖示：用于量子比特序列的 RNN。（來源：論文）

物理學(xué)家已將 RNN 用于與量子計算相關(guān)的各種創(chuàng)新用途。RNN 已用于根據(jù)量子比特測量重建量子態(tài)的任務(wù)。RNN 還可以用于模擬量子系統(tǒng)的動態(tài)特性，這被認(rèn)為是量子計算最有前途的應(yīng)用之一，因此也是定義量子優(yōu)勢的一項(xiàng)關(guān)鍵任務(wù)。RNN 已被用作構(gòu)建神經(jīng)糾錯解碼器的策略，這是容錯量子計算機(jī)開發(fā)的關(guān)鍵要素。此外，RNN 能夠利用數(shù)據(jù)驅(qū)動和物理啟發(fā)的優(yōu)化，從而在量子模擬中實(shí)現(xiàn)越來越多的創(chuàng)新用途。

物理學(xué)家社區(qū)繼續(xù)積極開發(fā) RNN，希望利用它們來完成量子優(yōu)勢時代遇到的日益復(fù)雜的計算任務(wù)。RNN 在許多量子任務(wù)中與張量網(wǎng)絡(luò)的計算競爭力，加上它們利用量子比特測量數(shù)據(jù)的價值的天然能力，表明 RNN 將繼續(xù)在未來模擬量子計算機(jī)的復(fù)雜任務(wù)中發(fā)揮重要作用。

Transformer 量子態(tài)

多年來，雖然 RNN 在自然語言任務(wù)中取得了巨大成功，但最近它們在工業(yè)中因 Transformer 的自注意力機(jī)制而黯然失色，而 Transformer 是當(dāng)今大型語言模型 (LLM) 編碼器-解碼器架構(gòu)的關(guān)鍵組成部分。

縮放（scaling ） Transformer 的成功，以及它們在語言任務(wù)中所展示的非平凡涌現(xiàn)現(xiàn)象所引發(fā)的重要問題，一直吸引著物理學(xué)家，對他們來說，實(shí)現(xiàn)縮放是量子計算研究的主要目標(biāo)。

從本質(zhì)上講，Transformer 就是簡單的自回歸模型。然而，與 RNN 不同的是，RNN 是通過隱藏向量進(jìn)行相關(guān)性的隱式編碼，Transformer 模型輸出的條件分布明確依賴于序列中有關(guān)自回歸特性的所有其他變量。這是通過因果屏蔽的自注意力機(jī)制來完成的。

圖示：注意文本和量子比特序列。（來源：論文）

與語言數(shù)據(jù)一樣，在量子系統(tǒng)中，注意力是通過獲取量子比特測量值并通過一系列參數(shù)化函數(shù)進(jìn)行轉(zhuǎn)換來計算的。通過訓(xùn)練一堆這樣的參數(shù)化函數(shù)，Transformer 可以學(xué)習(xí)量子比特之間的依賴關(guān)系。有了注意力機(jī)制，就不需要將傳遞隱藏狀態(tài)的幾何結(jié)構(gòu)（就像在 RNN 中一樣）與量子比特的物理排列相關(guān)聯(lián)。

通過利用這種架構(gòu)，可以訓(xùn)練具有數(shù)十億或數(shù)萬億參數(shù)的 Transformer。

對于當(dāng)前一代量子計算機(jī)來說，結(jié)合數(shù)據(jù)驅(qū)動和物理啟發(fā)學(xué)習(xí)的混合兩步優(yōu)化非常重要，已經(jīng)證明了 Transformer 能夠減輕當(dāng)今不完美的輸出數(shù)據(jù)中出現(xiàn)的錯誤，并可能形成強(qiáng)大的糾錯協(xié)議的基礎(chǔ)，以支持未來真正容錯硬件的開發(fā)。

隨著涉及量子物理 Transformer 的研究范圍不斷迅速擴(kuò)大，一系列有趣的問題仍然存在。

量子計算語言模型的未來

盡管物理學(xué)家對它們的探索時間很短，但語言模型在應(yīng)用于量子計算領(lǐng)域的廣泛挑戰(zhàn)時已經(jīng)取得了顯著的成功。這些成果預(yù)示著未來許多有前途的研究方向。

量子物理學(xué)中語言模型的另一個關(guān)鍵用例來自于它們的優(yōu)化能力，不是通過數(shù)據(jù)，而是通過哈密頓量或 Lindbladian 的基本量子比特相互作用的知識。

最后，語言模型通過數(shù)據(jù)驅(qū)動和變分驅(qū)動優(yōu)化的結(jié)合，開辟了混合訓(xùn)練的新領(lǐng)域。這些新興的策略為減少錯誤提供了新的途徑，并顯示出對變分模擬的強(qiáng)大改進(jìn)。由于生成模型最近已被改編為量子糾錯解碼器，混合訓(xùn)練可能為未來實(shí)現(xiàn)容錯量子計算機(jī)的圣杯邁出了重要一步。這表明，量子計算機(jī)和在其輸出中訓(xùn)練的語言模型之間即將出現(xiàn)良性循環(huán)。

圖示：語言模型通過良性循環(huán)實(shí)現(xiàn)量子計算的擴(kuò)展。（來源：論文）

展望未來，將語言模型領(lǐng)域與量子計算聯(lián)系起來的最令人興奮的機(jī)會在于它們展示規(guī)模和涌現(xiàn)的能力。

如今，隨著 LLM 涌現(xiàn)特性的展示，一個新的領(lǐng)域已經(jīng)被突破，提出了許多引人注目的問題。如果有足夠的訓(xùn)練數(shù)據(jù)，LLM 是否能夠?qū)W習(xí)量子計算機(jī)的數(shù)字副本？控制堆棧中包含語言模型，將如何影響量子計算機(jī)的表征和設(shè)計？如果尺度足夠大，LLM 能否顯示超導(dǎo)等宏觀量子現(xiàn)象的出現(xiàn)？

當(dāng)理論學(xué)家思考這些問題時，實(shí)驗(yàn)和計算物理學(xué)家已經(jīng)開始認(rèn)真地將語言模型應(yīng)用于當(dāng)今量子計算機(jī)的設(shè)計、表征和控制中。當(dāng)我們跨越量子優(yōu)勢的門檻時，我們也進(jìn)入了擴(kuò)展語言模型的新領(lǐng)域。雖然很難預(yù)測量子計算機(jī)和 LLM 的碰撞將如何展開，但顯而易見的是，這些技術(shù)相互作用所帶來的根本性轉(zhuǎn)變已經(jīng)開始。