在時(shí)間序列數(shù)據(jù)分析中，噪聲問(wèn)題是不可避免的挑戰(zhàn)。即使在信號(hào)質(zhì)量良好的情況下，原始數(shù)據(jù)仍可能包含各種干擾因素。這些噪聲可能來(lái)源于傳感器硬件缺陷、人工測(cè)量過(guò)程中的隨機(jī)誤差，或者數(shù)據(jù)本身固有的統(tǒng)計(jì)波動(dòng)特性，這些因素都會(huì)對(duì)有效趨勢(shì)信息的提取造成顯著影響。

圖片

數(shù)據(jù)平滑技術(shù)為解決這一問(wèn)題提供了有效途徑，能夠顯著改善數(shù)據(jù)的可解釋性和處理效率。在趨勢(shì)識(shí)別和行為模式比較分析中，選擇適當(dāng)?shù)钠交椒ㄖ陵P(guān)重要，但確定最優(yōu)方法和平滑強(qiáng)度參數(shù)往往需要深入的技術(shù)理解。

本文將系統(tǒng)介紹六種廣泛應(yīng)用的時(shí)間序列平滑技術(shù)，從技術(shù)原理、參數(shù)配置、性能特征以及適用場(chǎng)景等多個(gè)維度進(jìn)行深入分析。文章還將介紹一種量化平滑效果的評(píng)估指標(biāo)，并提供一個(gè)交互式工具用于方法對(duì)比驗(yàn)證。

圖片

以下將詳細(xì)分析六種主流平滑方法的技術(shù)原理、核心參數(shù)配置以及各自的優(yōu)勢(shì)與局限性。

移動(dòng)平均法（滾動(dòng)均值）

移動(dòng)平均法，也稱為簡(jiǎn)單移動(dòng)平均、滾動(dòng)窗口平均或滑動(dòng)窗口平均，通過(guò)計(jì)算固定數(shù)量鄰近數(shù)據(jù)點(diǎn)的算術(shù)平均值來(lái)替換時(shí)間序列中的每個(gè)數(shù)據(jù)點(diǎn)。

該方法的核心機(jī)制是對(duì)每個(gè)目標(biāo)點(diǎn)選擇一個(gè)包含周圍數(shù)據(jù)的窗口（例如前后各5個(gè)數(shù)據(jù)點(diǎn)），計(jì)算窗口內(nèi)所有數(shù)值的均值作為該點(diǎn)的平滑值。窗口大小直接控制平滑程度，較大的窗口能產(chǎn)生更平滑的曲線，但同時(shí)會(huì)增加信號(hào)延遲。

移動(dòng)平均法的關(guān)鍵參數(shù)為窗口大小（window size），即參與平均計(jì)算的數(shù)據(jù)點(diǎn)數(shù)量。該參數(shù)的選擇需要在平滑效果和信號(hào)延遲之間找到平衡點(diǎn)。

該方法具有算法簡(jiǎn)單、計(jì)算效率高的優(yōu)勢(shì)，能夠有效消除短期波動(dòng)并突出長(zhǎng)期趨勢(shì)特征。然而，其固有的局限性包括：由于采用對(duì)稱窗口計(jì)算，會(huì)在時(shí)間軸上引入延遲效應(yīng)；對(duì)于尖峰、階躍變化等突變特征，會(huì)產(chǎn)生明顯的平滑失真。該方法在處理零均值平穩(wěn)噪聲時(shí)表現(xiàn)最佳，即當(dāng)數(shù)據(jù)波動(dòng)在時(shí)間維度上表現(xiàn)為對(duì)稱且統(tǒng)計(jì)特性一致時(shí)。

指數(shù)移動(dòng)平均法（EMA）

指數(shù)移動(dòng)平均法采用加權(quán)平均策略對(duì)數(shù)據(jù)進(jìn)行平滑處理，其核心特征是對(duì)近期觀測(cè)值賦予更高權(quán)重，從而實(shí)現(xiàn)對(duì)信號(hào)變化的快速響應(yīng)。

EMA的計(jì)算過(guò)程是將每個(gè)新數(shù)值表示為當(dāng)前觀測(cè)值與所有歷史觀測(cè)值的加權(quán)平均，權(quán)重系數(shù)按指數(shù)規(guī)律遞減。這種設(shè)計(jì)使得最近的數(shù)據(jù)點(diǎn)具有更大的影響力。EMA屬于因果濾波器，僅依賴當(dāng)前和歷史數(shù)據(jù)進(jìn)行計(jì)算，這一特性使其特別適用于實(shí)時(shí)數(shù)據(jù)處理場(chǎng)景。

該方法的關(guān)鍵參數(shù)是平滑因子α（取值范圍0到1）。較高的α值會(huì)增強(qiáng)近期觀測(cè)值的權(quán)重，減少信號(hào)延遲但降低平滑效果；較低的α值則相反。

EMA相比簡(jiǎn)單移動(dòng)平均法具有更快的響應(yīng)速度，其因果性質(zhì)確保了實(shí)時(shí)處理的可行性，不依賴未來(lái)數(shù)據(jù)進(jìn)行計(jì)算。與居中移動(dòng)平均相比，EMA引入的延遲相對(duì)較小。在流式數(shù)據(jù)處理或計(jì)算資源受限的環(huán)境中，EMA不需要維護(hù)完整的歷史數(shù)據(jù)窗口，具有明顯的實(shí)現(xiàn)優(yōu)勢(shì)。但是，該方法在處理快速變化信號(hào)時(shí)仍存在延遲問(wèn)題，特別是當(dāng)α參數(shù)較小時(shí)。

圖片

移動(dòng)平均和指數(shù)移動(dòng)平均平滑方法的延遲效應(yīng)對(duì)比。

Savitzky-Golay濾波器

Savitzky-Golay濾波器采用局部多項(xiàng)式擬合的方法實(shí)現(xiàn)數(shù)據(jù)平滑。其基本原理是在滑動(dòng)數(shù)據(jù)窗口內(nèi)擬合低次多項(xiàng)式，然后使用多項(xiàng)式在窗口中心點(diǎn)的取值替換原始數(shù)據(jù)。這是一種在時(shí)間序列上重復(fù)應(yīng)用的局部最小二乘回歸方法。

具體實(shí)現(xiàn)過(guò)程為：對(duì)每個(gè)目標(biāo)點(diǎn)選擇對(duì)稱數(shù)據(jù)窗口（如11個(gè)數(shù)據(jù)點(diǎn)），在該窗口內(nèi)擬合指定次數(shù)的多項(xiàng)式（通常為2次或3次），用擬合多項(xiàng)式在目標(biāo)位置的計(jì)算值替換原始數(shù)據(jù)點(diǎn)。這一過(guò)程隨著窗口在整個(gè)序列上的滑動(dòng)而重復(fù)執(zhí)行。

該方法涉及兩個(gè)關(guān)鍵參數(shù)：窗口大?。ū仨殲槠鏀?shù)）決定了每次擬合使用的數(shù)據(jù)點(diǎn)數(shù)量；多項(xiàng)式次數(shù)控制濾波器能夠表征的局部曲線復(fù)雜度，高次多項(xiàng)式能夠跟蹤更復(fù)雜的局部變化模式。

Savitzky-Golay濾波器的主要優(yōu)勢(shì)在于能夠保持高階統(tǒng)計(jì)矩特征，如斜率和曲率信息，這使其特別適合處理包含峰值、谷值或振蕩等結(jié)構(gòu)特征的信號(hào)。然而，當(dāng)窗口尺寸過(guò)小或多項(xiàng)式次數(shù)過(guò)高時(shí)，可能出現(xiàn)過(guò)擬合現(xiàn)象，導(dǎo)致噪聲放大而非抑制。

LOESS回歸平滑

LOESS（局部估計(jì)散點(diǎn)圖平滑）是一種非參數(shù)回歸方法，通過(guò)為每個(gè)數(shù)據(jù)點(diǎn)的局部鄰域擬合回歸模型實(shí)現(xiàn)平滑效果。當(dāng)采用線性擬合時(shí)，該方法也被稱為L(zhǎng)OWESS（局部加權(quán)散點(diǎn)圖平滑）。

LOESS的工作機(jī)制是：對(duì)每個(gè)目標(biāo)點(diǎn)，選擇一定比例的鄰近數(shù)據(jù)，根據(jù)距離分配權(quán)重，然后擬合局部回歸模型。目標(biāo)點(diǎn)的平滑值由該局部模型的預(yù)測(cè)值確定。這一過(guò)程在整個(gè)時(shí)間序列上重復(fù)執(zhí)行。

該方法的核心參數(shù)是分?jǐn)?shù)參數(shù)（frac），表示每次局部擬合中使用的數(shù)據(jù)集比例。較小的frac值使算法更緊密地跟隨原始數(shù)據(jù)的局部變化。

LOESS具有良好的自適應(yīng)性，能夠處理非線性趨勢(shì)和時(shí)變行為模式，即使在基礎(chǔ)函數(shù)形態(tài)隨時(shí)間發(fā)生變化的情況下仍能保持良好性能。與Savitzky-Golay濾波器不同，LOESS不假設(shè)數(shù)據(jù)等間距分布或固定的結(jié)構(gòu)模式。但是，該方法的計(jì)算復(fù)雜度較高，因?yàn)樾枰獮槊總€(gè)數(shù)據(jù)點(diǎn)獨(dú)立執(zhí)行回歸計(jì)算。當(dāng)frac參數(shù)過(guò)小時(shí)，可能導(dǎo)致過(guò)擬合和噪聲增強(qiáng)。此外，由于邊界區(qū)域的鄰近點(diǎn)較少，邊緣估計(jì)可能出現(xiàn)不穩(wěn)定現(xiàn)象，某些實(shí)現(xiàn)會(huì)采用非對(duì)稱窗口來(lái)緩解這一問(wèn)題。

高斯濾波器

高斯濾波器通過(guò)應(yīng)用高斯分布權(quán)重的加權(quán)移動(dòng)平均實(shí)現(xiàn)時(shí)間序列平滑。與簡(jiǎn)單移動(dòng)平均給窗口內(nèi)所有點(diǎn)等權(quán)重不同，高斯濾波器對(duì)靠近中心的數(shù)據(jù)點(diǎn)賦予更高權(quán)重，對(duì)距離較遠(yuǎn)的點(diǎn)賦予較低權(quán)重，權(quán)重分布遵循高斯（正態(tài)）分布模式。

該方法的實(shí)現(xiàn)過(guò)程是：對(duì)每個(gè)目標(biāo)點(diǎn)，使用以該點(diǎn)為中心的對(duì)稱高斯核函數(shù)計(jì)算鄰近數(shù)值的加權(quán)和。核函數(shù)的形狀由標(biāo)準(zhǔn)差參數(shù)σ控制，該參數(shù)決定權(quán)重衰減的速率，但不直接控制窗口大小。

高斯濾波器的關(guān)鍵參數(shù)是標(biāo)準(zhǔn)差σ，用于控制權(quán)重分布的展開程度。較小的σ值保持窗口的響應(yīng)性，適合保持信號(hào)細(xì)節(jié)；較大的σ值實(shí)現(xiàn)更廣泛的平滑效果。

該方法能夠產(chǎn)生平滑的處理結(jié)果，相比簡(jiǎn)單移動(dòng)平均具有更少的邊緣效應(yīng)。當(dāng)需要在降噪的同時(shí)避免完全扁平化信號(hào)時(shí)，高斯濾波器是理想選擇。該技術(shù)在圖像處理和信號(hào)處理領(lǐng)域應(yīng)用廣泛。然而，與其他非自適應(yīng)濾波器（移動(dòng)平均、EMA、Savitzky-Golay）類似，高斯濾波器在整個(gè)序列上應(yīng)用統(tǒng)一的平滑策略，即使在信號(hào)快速變化的區(qū)域也是如此。這可能導(dǎo)致尖銳邊緣模糊、峰值扁平化，以及突變響應(yīng)延遲等問(wèn)題。

圖片

EMA、LOESS和卡爾曼濾波器在噪聲數(shù)據(jù)上的平滑效果對(duì)比。

卡爾曼濾波器

卡爾曼濾波器是一種基于概率論的遞歸估計(jì)算法，專用于從噪聲觀測(cè)數(shù)據(jù)中估計(jì)系統(tǒng)的潛在狀態(tài)。該算法在每個(gè)時(shí)間步驟都會(huì)基于過(guò)程模型進(jìn)行狀態(tài)預(yù)測(cè)，將預(yù)測(cè)結(jié)果與觀測(cè)數(shù)據(jù)進(jìn)行比較，然后更新?tīng)顟B(tài)估計(jì)以在模型預(yù)測(cè)和實(shí)際測(cè)量之間達(dá)到最優(yōu)平衡。與EMA類似，卡爾曼濾波器也屬于因果平滑方法。

卡爾曼濾波器基于以下假設(shè)：信號(hào)由遵循線性動(dòng)態(tài)規(guī)律且包含高斯噪聲的系統(tǒng)生成。濾波器同時(shí)跟蹤兩個(gè)關(guān)鍵要素：狀態(tài)估計(jì)（對(duì)真實(shí)值的最佳估計(jì)）和該估計(jì)的不確定性度量。當(dāng)新的觀測(cè)數(shù)據(jù)到達(dá)時(shí)，算法采用加權(quán)平均策略融合預(yù)測(cè)值和觀測(cè)值，置信度更高的估計(jì)將獲得更大的權(quán)重。

該方法包含兩個(gè)關(guān)鍵參數(shù)：過(guò)程噪聲標(biāo)準(zhǔn)差（transition_std）描述系統(tǒng)內(nèi)部過(guò)程的噪聲水平或不可預(yù)測(cè)程度；觀測(cè)噪聲標(biāo)準(zhǔn)差（observation_std）描述測(cè)量數(shù)據(jù)的噪聲水平。這兩個(gè)參數(shù)共同決定濾波器對(duì)模型預(yù)測(cè)與新觀測(cè)數(shù)據(jù)的相對(duì)信任程度。

卡爾曼濾波器在處理時(shí)變?cè)肼暫腿笔?shù)據(jù)方面表現(xiàn)優(yōu)異，具有良好的自適應(yīng)性，能夠平滑地跟蹤漸進(jìn)變化。該技術(shù)在控制系統(tǒng)、金融分析和傳感器數(shù)據(jù)融合等領(lǐng)域得到廣泛應(yīng)用。然而，卡爾曼濾波器的計(jì)算復(fù)雜度相對(duì)較高，因?yàn)樾枰诿總€(gè)時(shí)間步驟維護(hù)和更新?tīng)顟B(tài)估計(jì)及其不確定性信息。該方法要求建立準(zhǔn)確的過(guò)程模型，當(dāng)實(shí)際系統(tǒng)表現(xiàn)為非線性、非高斯或高度不規(guī)則特性時(shí)，標(biāo)準(zhǔn)卡爾曼濾波器可能出現(xiàn)發(fā)散或不可預(yù)測(cè)的行為（對(duì)于非線性系統(tǒng)，需要采用擴(kuò)展卡爾曼濾波器或無(wú)跡卡爾曼濾波器等變種）。此外，噪聲參數(shù)的準(zhǔn)確調(diào)節(jié)對(duì)算法性能至關(guān)重要，不當(dāng)?shù)膮?shù)設(shè)置可能導(dǎo)致過(guò)度平滑或噪聲放大等問(wèn)題。

各種平滑方法都有其特定的適用場(chǎng)景。對(duì)于僅需抑制快速波動(dòng)的應(yīng)用，移動(dòng)平均或EMA通常已足夠。當(dāng)需要保持峰值和曲率等信號(hào)特征時(shí)，Savitzky-Golay濾波器或LOESS可能更適合。高斯濾波器在需要平滑效果但要求參數(shù)調(diào)節(jié)簡(jiǎn)便的場(chǎng)景中是理想選擇?？柭鼮V波器雖然復(fù)雜度較高，但在需要適應(yīng)動(dòng)態(tài)變化或復(fù)雜噪聲環(huán)境的系統(tǒng)中具有其他方法無(wú)法比擬的優(yōu)勢(shì)。

實(shí)際數(shù)據(jù)平滑的技術(shù)挑戰(zhàn)

實(shí)際應(yīng)用中的時(shí)間序列數(shù)據(jù)通常具有采樣不規(guī)則、數(shù)據(jù)缺失以及變化速率混合等復(fù)雜特征。例如，物聯(lián)網(wǎng)傳感器可能出現(xiàn)數(shù)據(jù)丟失或以不等間隔進(jìn)行數(shù)據(jù)報(bào)告，這些因素都會(huì)增加數(shù)據(jù)解釋的難度。

大多數(shù)平滑方法都假設(shè)數(shù)據(jù)具有規(guī)則性和完整性。當(dāng)存在數(shù)據(jù)缺失時(shí)，可能需要預(yù)先進(jìn)行插值或數(shù)據(jù)填補(bǔ)處理，或者選擇如卡爾曼濾波器等能夠直接處理數(shù)據(jù)間隙的方法。

在流式數(shù)據(jù)或?qū)崟r(shí)處理場(chǎng)景中，無(wú)法獲取未來(lái)時(shí)刻的數(shù)據(jù)值，這對(duì)許多依賴對(duì)稱窗口的濾波方法構(gòu)成限制。因果濾波器如后向窗口移動(dòng)平均、EMA和卡爾曼濾波器更適合此類應(yīng)用，因?yàn)樗鼈儍H使用當(dāng)前和歷史數(shù)據(jù)進(jìn)行狀態(tài)更新。

這些技術(shù)挑戰(zhàn)使得參數(shù)選擇和自動(dòng)化結(jié)果驗(yàn)證變得更加困難。視覺(jué)檢查仍然是判斷平滑效果的最可靠方法。為了定量評(píng)估平滑程度，我們可以采用以下相對(duì)簡(jiǎn)便的評(píng)估指標(biāo)：

基于RPR指標(biāo)的平滑度量化分析

圖片

三種不同平滑方法的RPR指標(biāo)遞增效果展示。粗糙度保持比（RPR, Roughness Preservation Ratio）用于量化信號(hào)在平滑處理后保留的短期變異程度（即"粗糙度"）。該指標(biāo)基于總變異度量，定義為連續(xù)數(shù)據(jù)點(diǎn)間絕對(duì)差值的累積和：

RPR = ∑ |???? ? ??| / ∑ |y??? ? y?|

即：RPR = total_variation(smoothed) / total_variation(original)

RPR數(shù)值通常分布在0到1的區(qū)間內(nèi)。接近1的數(shù)值表示平滑程度較輕，接近0的數(shù)值反映較強(qiáng)的平滑效果。當(dāng)處理方法增加局部變異時(shí)，RPR值可能超過(guò)1。

需要注意的是，該指標(biāo)僅測(cè)量信號(hào)鋸齒狀特征的減少程度，不評(píng)估信號(hào)整體形狀的保持情況。RPR指標(biāo)在比較不同方法對(duì)同一數(shù)據(jù)集的平滑強(qiáng)度時(shí)具有實(shí)用價(jià)值。

總結(jié)

不同的平滑方法在響應(yīng)時(shí)間序列數(shù)據(jù)中的噪聲、趨勢(shì)和結(jié)構(gòu)特征方面表現(xiàn)出顯著差異。沒(méi)有單一方法能夠在所有應(yīng)用場(chǎng)景中達(dá)到最優(yōu)效果，合適的選擇需要綜合考慮數(shù)據(jù)特征和分析目標(biāo)的具體要求。

對(duì)于數(shù)據(jù)質(zhì)量較好且主要目標(biāo)是減少輕微波動(dòng)的應(yīng)用，簡(jiǎn)單移動(dòng)平均或Savitzky-Golay濾波器通常能夠提供良好效果。在流式數(shù)據(jù)或?qū)崟r(shí)分析場(chǎng)景中，EMA或卡爾曼濾波器可能更為適合。當(dāng)信號(hào)包含非線性模式或時(shí)變行為特征時(shí)，LOESS是優(yōu)秀的選擇，盡管其計(jì)算開銷相對(duì)較高。

本文介紹的技術(shù)集合具有實(shí)用價(jià)值，但并非詳盡無(wú)遺。其他方法如樣條平滑或基于小波變換的技術(shù)可能在特定應(yīng)用中表現(xiàn)更優(yōu)。結(jié)果可視化對(duì)于方法評(píng)估至關(guān)重要。雖然RPR等指標(biāo)有助于參數(shù)設(shè)置的比較，但圖形化展示通常能夠更直觀地揭示方法是否保持了信號(hào)結(jié)構(gòu)或造成了過(guò)度平滑。

深入理解這些技術(shù)權(quán)衡有助于避免常見(jiàn)誤區(qū)，建立對(duì)信號(hào)更可靠的分析和解釋框架。

相關(guān)代碼實(shí)現(xiàn)可訪問(wèn)：https://github.com/dbolotov/ts_smoothing_visualizer