控制系統(tǒng)作為現(xiàn)代工程與科學(xué)的核心技術(shù)之一，廣泛應(yīng)用于自動(dòng)駕駛、機(jī)器人、航空航天、電力系統(tǒng)等多個(gè)領(lǐng)域。

自上世紀(jì)60年代興起的現(xiàn)代控制理論，使用狀態(tài)空間方程作為描述工具，對(duì)系統(tǒng)的可控性、可觀性、穩(wěn)定性等基本屬性進(jìn)行分析：

可控性描述了系統(tǒng)是否能在有限時(shí)間內(nèi)從任意初始狀態(tài)轉(zhuǎn)移到目標(biāo)狀態(tài)；

可觀性則衡量系統(tǒng)內(nèi)部狀態(tài)是否能通過(guò)輸出信號(hào)唯一重構(gòu)；

穩(wěn)定性則確保系統(tǒng)在受到擾動(dòng)后仍能保持在平衡狀態(tài)附近。

這些性質(zhì)為控制器設(shè)計(jì)提供了理論依據(jù)，并在實(shí)際工程中得到了廣泛應(yīng)用。

現(xiàn)有理論大多聚焦于單一初始狀態(tài)對(duì)應(yīng)的單條軌跡行為。然而，系統(tǒng)的演化過(guò)程是整體性的，且極大受到初始分布的影響，尤其是在非線性系統(tǒng)中。

如何描述控制系統(tǒng)的整體行為，是一個(gè)待解決的重要問(wèn)題。

一種可行的思路：通過(guò)隨機(jī)變量來(lái)描述系統(tǒng)狀態(tài)的概率分布，用隨機(jī)變量的分布變化描述系統(tǒng)內(nèi)在的聚集或擴(kuò)散趨勢(shì)。

基于這一思路，清華大學(xué)科研團(tuán)隊(duì)首次提出狀態(tài)熵(state entropy)的概念，用于分析控制系統(tǒng)的聚集程度(degree of aggregation)，即聚合性，并將其作為描述系統(tǒng)演化過(guò)程的基本屬性之一。

控制系統(tǒng)的狀態(tài)熵

熵的概念最早源于19世紀(jì)的熱力學(xué)。1865年，克勞修斯（Clausius）提出了熱力學(xué)熵的定義，用于描述系統(tǒng)趨向熱力學(xué)平衡的過(guò)程。

隨后，玻爾茲曼（Boltzmann）從微觀角度對(duì)熵進(jìn)行了統(tǒng)計(jì)解釋，揭示了系統(tǒng)趨向最大熵狀態(tài)的統(tǒng)計(jì)本質(zhì)。

20世紀(jì)中葉，香農(nóng)（Claude Shannon）將熵的概念引入信息論，提出了信息熵的定義，用于衡量隨機(jī)變量的不確定性。

信息熵具有連續(xù)性、單調(diào)性和可加性等重要性質(zhì)，能夠定量描述信息的不確定程度。

對(duì)于控制系統(tǒng)，考慮其初始狀態(tài)為一個(gè)給定概率密度函數(shù)的隨機(jī)變量。

定義該隨機(jī)變量的信息熵為系統(tǒng)的「狀態(tài)熵」(state entropy)，用于量化系統(tǒng)狀態(tài)的不確定性，其演化過(guò)程可用于表征系統(tǒng)內(nèi)在的聚集或擴(kuò)散趨勢(shì)。

圖1 動(dòng)力學(xué)系統(tǒng)狀態(tài)熵的演化示意圖

狀態(tài)熵的演化規(guī)律分析

論文首先分析了不含控制輸入的自治系統(tǒng)。對(duì)于連續(xù)時(shí)間自治系統(tǒng)，狀態(tài)方程為，其中初始狀態(tài)X_0為隨機(jī)變量，具有概率密度函數(shù)，系統(tǒng)在t時(shí)刻的狀態(tài)熵為：

該定義將狀態(tài)熵的變化與系統(tǒng)狀態(tài)轉(zhuǎn)移的局部變形程度（即雅可比矩陣的行列式）聯(lián)系起來(lái)。

無(wú)需知道狀態(tài)軌跡的顯式表達(dá)式，只需計(jì)算雅可比矩陣的行列式，現(xiàn)在即可獲得狀態(tài)熵的演化信息。

狀態(tài)熵的變化率反映了系統(tǒng)的聚集程度，這一性質(zhì)被稱為「聚合性」，是控制系統(tǒng)的一個(gè)全新特性。

聚集程度由下述公式進(jìn)行度量：

由該定義可知，系統(tǒng)的聚集程度，即狀態(tài)熵的變化率由控制系統(tǒng)的向量場(chǎng)散度（即雅可比矩陣的跡）在初始狀態(tài)分布上的加權(quán)平均決定。

換句話說(shuō)，系統(tǒng)狀態(tài)是趨于分散還是聚集，取決于向量場(chǎng)的局部「膨脹」或「收縮」特性：

若雅可比矩陣的跡為正，狀態(tài)熵增加，系統(tǒng)趨于發(fā)散(dissipation)；

若為負(fù)，狀態(tài)熵減小，系統(tǒng)趨于集中(aggregation)。

特別地，對(duì)于時(shí)不變線性系統(tǒng)，控制策略為。此時(shí)，雅可比矩陣的跡為常數(shù)，因此狀態(tài)熵的變化率也為常數(shù)，且與初始狀態(tài)分布無(wú)關(guān)。

這一性質(zhì)不僅適用于線性系統(tǒng)，也適用于向量場(chǎng)散度為常數(shù)的非線性系統(tǒng)。此類系統(tǒng)的狀態(tài)熵演化可以完全由系統(tǒng)參數(shù)決定。

典型系統(tǒng)的聚集性質(zhì)分析

為直觀顯示動(dòng)力學(xué)系統(tǒng)的熵及其變化，在LQR線性系統(tǒng)、非線性阻尼振蕩器和洛倫茲系統(tǒng)上，研究團(tuán)隊(duì)進(jìn)行了仿真實(shí)驗(yàn)，考察其狀態(tài)熵的演化規(guī)律。

選取了三種不同的初始狀態(tài)分布：標(biāo)準(zhǔn)正態(tài)分布、方差放大的正態(tài)分布、均勻分布，利用蒙特卡洛方法進(jìn)行數(shù)值模擬，并與理論計(jì)算值對(duì)比。

實(shí)驗(yàn)結(jié)果如圖所示：

圖2 三類典型動(dòng)力學(xué)系統(tǒng)

如圖所示，研究人員選取了三類典型動(dòng)力學(xué)系統(tǒng)并分析其狀態(tài)聚集程度：

第一類系統(tǒng)：線性、穩(wěn)定且狀態(tài)聚合的；

第二類系統(tǒng)：非線性、具有唯一穩(wěn)定點(diǎn)且狀態(tài)聚合的；

第三類系統(tǒng)：非線性、具有多個(gè)穩(wěn)定點(diǎn)且狀態(tài)聚合的。

從如上系統(tǒng)中可以觀察到，穩(wěn)定性和聚合性是描述動(dòng)力學(xué)系統(tǒng)的兩個(gè)不同性質(zhì)。

穩(wěn)定性要求系統(tǒng)從給定初始點(diǎn)附近出發(fā)，經(jīng)過(guò)足夠長(zhǎng)時(shí)間內(nèi)仍然可以停留在初始點(diǎn)附近，則該點(diǎn)處的狀態(tài)必然具有聚合性。

然而，當(dāng)系統(tǒng)具有多個(gè)穩(wěn)定點(diǎn)時(shí)（如第三個(gè)例子），即使系統(tǒng)可能是全局趨于狀態(tài)聚合的，但在部分點(diǎn)處的微小擾動(dòng)可能引起最終狀態(tài)的極大變化。

狀態(tài)熵與系統(tǒng)智能性的關(guān)系

眾所周知，孤立系統(tǒng)的熵增或熵減，與生命的進(jìn)化密切相關(guān)。

對(duì)于控制系統(tǒng)而言，狀態(tài)熵的分析可以為系統(tǒng)的智能性提供一條全新的度量視角。

控制策略通過(guò)影響狀態(tài)轉(zhuǎn)移過(guò)程，改變系統(tǒng)的局部聚合性質(zhì)。

狀態(tài)熵作為狀態(tài)分布不確定性的度量，其演化方向與速率由控制策略及環(huán)境耦合共同決定，而智能性的本質(zhì)在于：

通過(guò)閉環(huán)反饋機(jī)制，系統(tǒng)將狀態(tài)不確定性以穩(wěn)定速率持續(xù)壓縮。

當(dāng)控制策略使系統(tǒng)狀態(tài)熵的變化率始終為負(fù)，且對(duì)擾動(dòng)參數(shù)的偏導(dǎo)數(shù)范數(shù)有界時(shí)，可以認(rèn)為：

系統(tǒng)具備  內(nèi)在能力  將未來(lái)狀態(tài)分布的不確定性限制在給定區(qū)間。

而這種能力可以作為智能度的高低的度量。

熵演化曲線的斜率穩(wěn)定性與可積性共同構(gòu)成可觀測(cè)的智能判據(jù)，斜率越穩(wěn)定且積分值越小，系統(tǒng)對(duì)未來(lái)觀測(cè)序列的預(yù)測(cè)誤差越小，從而在非平穩(wěn)條件下保持狀態(tài)分布的漸近收斂性。

因此，狀態(tài)熵的演化規(guī)律量化了系統(tǒng)當(dāng)前的不確定性水平，而其導(dǎo)數(shù)的性質(zhì)更是揭示了系統(tǒng)把外部隨機(jī)輸入持續(xù)轉(zhuǎn)化為可估計(jì)分量的內(nèi)在能力。

這可以作為智能性度量的一種可行視角。

總結(jié)

綜上所述，研究首次考慮了控制系統(tǒng)初始狀態(tài)的不確定性，引入狀態(tài)熵的概念描述控制系統(tǒng)的狀態(tài)分布，給出了適用于連續(xù)時(shí)間、離散時(shí)間、線性與非線性控制系統(tǒng)的統(tǒng)一定義，并推導(dǎo)出其隨時(shí)間演化的解析表達(dá)式。

論文證明了

狀態(tài)熵的變化率由控制向量場(chǎng)的散度決定；

對(duì)于散度為常數(shù)的系統(tǒng)，熵呈線性演化且與初始分布無(wú)關(guān)；

離散系統(tǒng)的熵差可直接由狀態(tài)轉(zhuǎn)移映射的雅可比行列式計(jì)算。

理論分析進(jìn)一步揭示了狀態(tài)熵與系統(tǒng)矩陣、控制增益之間的關(guān)系，使得無(wú)需軌跡仿真即可預(yù)測(cè)信息不確定性演化。在三種典型動(dòng)力學(xué)系統(tǒng)上（LQR、非線性阻尼振蕩器、Lorenz系統(tǒng)）分析了狀態(tài)演化規(guī)律和系統(tǒng)屬性。

該研究首次將系統(tǒng)的聚合性考慮為控制系統(tǒng)的一項(xiàng)基本屬性，使用狀態(tài)熵作為這一基本屬性的度量，并提供了可計(jì)算的熵演化規(guī)律。

該研究有望促進(jìn)對(duì)系統(tǒng)智能性的解釋，進(jìn)一步理解策略學(xué)習(xí)的智能涌現(xiàn)過(guò)程。