1. 一眼概覽

Quantum Cartpole 提出了一個(gè)結(jié)合弱測(cè)量與強(qiáng)化學(xué)習(xí)的量子控制基準(zhǔn)環(huán)境，展示了深度強(qiáng)化學(xué)習(xí)在非線性量子系統(tǒng)控制中的顯著優(yōu)勢(shì)，支持從經(jīng)典模型遷移學(xué)習(xí)到量子系統(tǒng)。

2. 核心問題

傳統(tǒng)的反饋控制方法難以直接應(yīng)用于量子系統(tǒng)，主要由于測(cè)量引起的反作用和不可完全觀測(cè)性。論文的核心問題是：在弱測(cè)量條件下，如何穩(wěn)定控制一個(gè)處于非穩(wěn)定勢(shì)阱頂端的量子粒子，特別是在面對(duì)非線性系統(tǒng)和無法準(zhǔn)確建模的噪聲時(shí)，如何實(shí)現(xiàn)有效控制。

3. 技術(shù)亮點(diǎn)

• 量子Cartpole環(huán)境構(gòu)建：引入弱測(cè)量反饋和單位力控制機(jī)制，作為強(qiáng)化學(xué)習(xí)控制的量子版本標(biāo)準(zhǔn)測(cè)試平臺(tái)；
• 強(qiáng)化學(xué)習(xí)與傳統(tǒng)控制對(duì)比：提出并比較了LQGC（線性-二次-高斯控制）與模型無關(guān)的RL控制器（含估計(jì)器RLE）在不同非線性勢(shì)能下的表現(xiàn)；
• 遷移學(xué)習(xí)實(shí)踐驗(yàn)證：首次實(shí)驗(yàn)證明可將RL模型從經(jīng)典系統(tǒng)訓(xùn)練遷移至量子系統(tǒng)，控制效果幾乎無損。

4. 方法框架

圖片

整體方法可概括如下：

? 量子系統(tǒng)建模：構(gòu)建處于反向勢(shì)阱的高斯波包量子粒子，施加單位沖擊控制；

? 控制策略實(shí)現(xiàn)：

使用 LQGC（包括 Kalman 濾波器 + LQR）控制經(jīng)典系統(tǒng)；

使用 RL 訓(xùn)練兩個(gè)模塊：RLC（控制器）+ RLE（估計(jì)器）；

? 弱測(cè)量反饋機(jī)制：每 Δt 時(shí)間執(zhí)行 N 次弱測(cè)量并求均值（frame-stacking），用于狀態(tài)估計(jì)；

? 控制評(píng)估與遷移：在三種不同勢(shì)能（反拋物線、余弦、四次方）中評(píng)估控制性能，并測(cè)試RL控制器的遷移能力。

5. 實(shí)驗(yàn)結(jié)果速覽

? RL控制優(yōu)于LQGC：在非線性系統(tǒng)（如quartic勢(shì)能）中，RL控制器+Kalman估計(jì)器的穩(wěn)定時(shí)間提升高達(dá)60%；

? 遷移學(xué)習(xí)效果佳：經(jīng)典系統(tǒng)上訓(xùn)練的RL控制器遷移至量子系統(tǒng)后，性能幾乎無衰減；

? RLE表現(xiàn)略遜于Kalman：但仍具備在單次測(cè)量下穩(wěn)定控制能力。

6. 實(shí)用價(jià)值與應(yīng)用

該工作為量子反饋控制問題提供了一個(gè)可標(biāo)準(zhǔn)化、可遷移的測(cè)試平臺(tái)，適用于：

? 量子計(jì)算與量子仿真系統(tǒng)的魯棒控制；

? 基于觀測(cè)反饋的量子信息處理；

? 未來適應(yīng)性強(qiáng)的量子機(jī)器人/裝置決策系統(tǒng)；此外，它展示了在無法建模系統(tǒng)上使用RL替代傳統(tǒng)控制器的可行性。

7. 開放問題

? RL控制器能否進(jìn)一步替代估計(jì)器，實(shí)現(xiàn)完全 end-to-end 量子控制？

? 若測(cè)量資源受限（如稀疏/間斷測(cè)量），強(qiáng)化學(xué)習(xí)策略是否仍有效？

? 是否可在更復(fù)雜的多體系統(tǒng)、非馬爾科夫噪聲環(huán)境中推廣此控制框架？