近日斯坦福大學(xué)聯(lián)合蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、Google Research和Amazon的研究團(tuán)隊(duì),推出了OpenTSLM——一個(gè)專(zhuān)為時(shí)間序列數(shù)據(jù)設(shè)計(jì)的語(yǔ)言模型家族。這一創(chuàng)新解決了當(dāng)前大語(yǔ)言模型(LLMs)在處理連續(xù)醫(yī)療時(shí)間序列數(shù)據(jù)時(shí)的根本性缺陷,即使是GPT-4o這樣的前沿模型也難以有效處理心電圖(ECG)、腦電圖(EEG)和可穿戴傳感器數(shù)據(jù)流。

一、LLM的"時(shí)序盲點(diǎn)"

醫(yī)學(xué)診斷的本質(zhì)是基于時(shí)序，準(zhǔn)確的診斷高度依賴于追蹤生命體征、生物標(biāo)志物和復(fù)雜信號(hào)的演變過(guò)程。然而目前最先進(jìn)的AI模型在處理這類(lèi)原始連續(xù)數(shù)據(jù)時(shí)卻力不從心。

問(wèn)題的核心在于"模態(tài)鴻溝"(modality gap)，例如連續(xù)信號(hào)(如心跳波形)與LLM理解的離散文本token之間存在根本性差異。此前嘗試將信號(hào)轉(zhuǎn)換為文本的方法被證明既低效又難以擴(kuò)展。

一個(gè)常見(jiàn)的變通方案是將時(shí)間序列數(shù)據(jù)轉(zhuǎn)換成靜態(tài)圖像(折線圖),然后輸入到先進(jìn)的視覺(jué)語(yǔ)言模型中。但OpenTSLM的研究團(tuán)隊(duì)通過(guò)實(shí)驗(yàn)證明,這種方法在精確的醫(yī)療數(shù)據(jù)分析中效果出奇地差。

VLM主要用照片訓(xùn)練，對(duì)科學(xué)數(shù)據(jù)圖表缺乏理解。高頻率的生理信號(hào)轉(zhuǎn)換成圖片后，很多微小但關(guān)鍵的變化(比如心律不齊的細(xì)微特征)會(huì)在像素化過(guò)程中丟失。圖片是靜態(tài)的，無(wú)法捕捉信號(hào)隨時(shí)間演變的動(dòng)態(tài)特性

VLM主要在自然照片上訓(xùn)練,識(shí)別的是物體和場(chǎng)景,而非數(shù)據(jù)可視化中密集的序列動(dòng)態(tài)信息。當(dāng)高頻信號(hào)被渲染成像素時(shí),關(guān)鍵的細(xì)粒度信息會(huì)丟失。對(duì)于識(shí)別心律失常或特定睡眠階段至關(guān)重要的微妙時(shí)間依賴性和高頻變化會(huì)被掩蓋。

時(shí)間序列必須被視為一種獨(dú)特的數(shù)據(jù)模態(tài),而不僅僅是一張圖片。

創(chuàng)建時(shí)間序列語(yǔ)言模型仍然是一個(gè)開(kāi)放的研究挑戰(zhàn)。主要障礙是連續(xù)信號(hào)與離散文本表示之間模態(tài)差距(Chow et al., 2024; Pillai et al., 2025; Zhang et al., 2025)。先前的研究主要是通過(guò)三種主要策略來(lái)彌合這一差距。

二、OpenTSLM

OpenTSLM采用了一種根本性創(chuàng)新:將時(shí)間序列作為原生模態(tài)直接集成到預(yù)訓(xùn)練的LLM(如Llama和Gemma)中,使其能夠用自然語(yǔ)言查詢和推理復(fù)雜的健康數(shù)據(jù)。研究團(tuán)隊(duì)探索了兩種截然不同的架構(gòu)方案：

第一種為OpenTSLM-SoftPrompt

這種方法將時(shí)間序列數(shù)據(jù)編碼為可學(xué)習(xí)的token,與文本token結(jié)合后直接輸入到LLM中進(jìn)行處理。雖然對(duì)短數(shù)據(jù)序列高效,但擴(kuò)展性差,更長(zhǎng)的序列需要指數(shù)級(jí)增長(zhǎng)的內(nèi)存,不適用于全面分析。在處理復(fù)雜ECG數(shù)據(jù)分析訓(xùn)練時(shí),使用相同LLM骨干的SoftPrompt變體需要110 GB VRAM。

第二種為OpenTSLM-Flamingo 

受到Flamingo架構(gòu)啟發(fā),這是實(shí)現(xiàn)可擴(kuò)展性的突破性解決方案。它將時(shí)間序列作為獨(dú)立模態(tài)顯式建模,通過(guò)專(zhuān)用編碼器、感知器重采樣器和門(mén)控交叉注意力機(jī)制實(shí)現(xiàn)高效融合。OpenTSLM-Flamingo維持穩(wěn)定的內(nèi)存需求,無(wú)論數(shù)據(jù)流多長(zhǎng),僅需40 GB VRAM,相比SoftPrompt減少64%,可擴(kuò)展到長(zhǎng)時(shí)間醫(yī)療監(jiān)測(cè)場(chǎng)景,適合臨床實(shí)際應(yīng)用部署。

三、OpenTSLM-Flamingo 

OpenTSLM的突破在于不再把時(shí)間序列數(shù)據(jù)當(dāng)作文字或圖片的"變體"，而是將其作為一種獨(dú)立的"語(yǔ)言模態(tài)"直接整合到AI模型中。就像人類(lèi)大腦能同時(shí)處理視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)信息一樣，OpenTSLM讓AI能夠同時(shí)理解文字和時(shí)間序列數(shù)據(jù)，并在兩者之間進(jìn)行推理。而其中的OpenTSLM-Flamingo方案則通過(guò)三種突破性的設(shè)計(jì)完成了華麗的蛻變。

突破一：專(zhuān)用時(shí)間序列編碼器

OpenTSLM的專(zhuān)用編碼器代表了時(shí)間序列特征提取的范式革新。傳統(tǒng)方法要么將時(shí)間序列強(qiáng)行轉(zhuǎn)換為圖像交給視覺(jué)編碼器處理,要么簡(jiǎn)單地將數(shù)值序列化為文本token,這兩種方式都會(huì)造成嚴(yán)重的信息損失。OpenTSLM團(tuán)隊(duì)從時(shí)間序列數(shù)據(jù)的本質(zhì)特性出發(fā),設(shè)計(jì)了全新的編碼架構(gòu)。

這一編碼器的核心創(chuàng)新在于"時(shí)間完整性保持"機(jī)制。醫(yī)療信號(hào)如心電圖包含復(fù)雜的時(shí)間依賴關(guān)系——前一秒的波形變化會(huì)影響對(duì)當(dāng)前波形的解讀,而這種因果關(guān)系往往延伸數(shù)秒甚至數(shù)分鐘。編碼器采用因果卷積結(jié)構(gòu),確保信息流動(dòng)嚴(yán)格遵循時(shí)間順序,同時(shí)引入專(zhuān)門(mén)的時(shí)間位置編碼,不僅標(biāo)記每個(gè)采樣點(diǎn)的時(shí)間戳,還編碼采樣率、時(shí)間間隔等關(guān)鍵元信息。更重要的是,編碼器集成了遞歸記憶單元,能夠在編碼過(guò)程中維護(hù)長(zhǎng)程依賴,避免遠(yuǎn)距離信息衰減。在實(shí)際應(yīng)用中,這種設(shè)計(jì)使模型能夠精確捕捉心律失常診斷所需的RR間期變化,精度達(dá)到毫秒級(jí),這是傳統(tǒng)圖像化方法無(wú)法企及的。

另一個(gè)關(guān)鍵突破是高頻信息的無(wú)損捕獲。醫(yī)療時(shí)間序列中的高頻成分往往承載著病理診斷的關(guān)鍵信息——例如心電圖中QRS波群的陡峭上升沿(持續(xù)時(shí)間僅10-20毫秒)是識(shí)別室性早搏的決定性特征。編碼器采用多尺度特征金字塔架構(gòu),并行處理從毫秒到秒級(jí)的多個(gè)時(shí)間分辨率,同時(shí)集成離散小波變換以提取頻域特征。這種設(shè)計(jì)徹底解決了傳統(tǒng)方法在圖像化過(guò)程中混疊和失真的問(wèn)題。

實(shí)驗(yàn)數(shù)據(jù)顯示,在檢測(cè)室性早搏任務(wù)中,專(zhuān)用編碼器相比圖像化VLM方法將準(zhǔn)確率從62%提升至89%,這27個(gè)百分點(diǎn)的提升直接來(lái)源于對(duì)高頻特征的完整保留。

突破二：感知器重采樣器

感知器重采樣器(Perceiver Resampler)是OpenTSLM-Flamingo架構(gòu)中最具革命性的創(chuàng)新,它徹底解決了困擾時(shí)間序列建模的"長(zhǎng)度-內(nèi)存悖論"。在傳統(tǒng)架構(gòu)中,處理更長(zhǎng)的時(shí)間序列需要成倍增加的內(nèi)存和計(jì)算資源——一段30秒的心電信號(hào)(15000個(gè)采樣點(diǎn))可能需要數(shù)百GB內(nèi)存。這一問(wèn)題源于Transformer架構(gòu)的二次方參數(shù)縮放特性。感知器重采樣器通過(guò)引入"學(xué)習(xí)型查詢向量"機(jī)制徹底改變了這一困境。

技術(shù)實(shí)現(xiàn)上,重采樣器的核心是一組固定數(shù)量的可學(xué)習(xí)查詢向量(learned latent queries)。無(wú)論輸入時(shí)間序列有多長(zhǎng),這些查詢向量都會(huì)通過(guò)交叉注意力機(jī)制從編碼后的時(shí)間序列表示中"提問(wèn)"和"提取"信息,最終將變長(zhǎng)輸入壓縮為固定長(zhǎng)度的潛在表示。

這個(gè)過(guò)程類(lèi)似于一組經(jīng)過(guò)訓(xùn)練的"專(zhuān)家"從海量數(shù)據(jù)中提煉核心要點(diǎn)。假設(shè)我們?cè)O(shè)定64個(gè)查詢向量,那么無(wú)論輸入是1000個(gè)時(shí)間點(diǎn)還是100萬(wàn)個(gè)時(shí)間點(diǎn),輸出都是64個(gè)固定維度的特征向量。

這種設(shè)計(jì)的精妙之處在于,查詢向量是通過(guò)大規(guī)模數(shù)據(jù)訓(xùn)練學(xué)習(xí)得到的,它們自動(dòng)學(xué)會(huì)了"問(wèn)"哪些問(wèn)題才能最有效地捕獲時(shí)間序列的關(guān)鍵特征。

這一創(chuàng)新帶來(lái)了三重突破性優(yōu)勢(shì)：

• 首先是內(nèi)存效率的革命性改善。在處理復(fù)雜ECG分析任務(wù)時(shí),采用感知器重采樣器的Flamingo變體僅需40GB VRAM,而未使用該技術(shù)的SoftPrompt變體需要110GB,內(nèi)存消耗降低了64%。
• 其次是真正的長(zhǎng)序列處理能力,模型現(xiàn)在可以處理數(shù)小時(shí)甚至數(shù)天的連續(xù)監(jiān)測(cè)數(shù)據(jù),這對(duì)于睡眠分期、長(zhǎng)程心電監(jiān)測(cè)等臨床應(yīng)用至關(guān)重要。
• 最后是計(jì)算效率的提升,由于輸出維度固定,后續(xù)的語(yǔ)言模型處理階段的計(jì)算量不再受輸入長(zhǎng)度影響,這使得實(shí)時(shí)分析和設(shè)備端部署成為可能。實(shí)驗(yàn)表明,處理一段24小時(shí)的可穿戴設(shè)備數(shù)據(jù),采用重采樣器的模型推理時(shí)間僅為0.8秒,而傳統(tǒng)方法需要超過(guò)15秒。

突破三：門(mén)控交叉注意力

門(mén)控交叉注意力機(jī)制(Gated Cross-Attention)是連接時(shí)間序列表示與語(yǔ)言模型的關(guān)鍵橋梁,它解決了多模態(tài)融合中的兩大核心挑戰(zhàn):如何讓不同模態(tài)有效對(duì)話,以及如何保持各模態(tài)的獨(dú)立性。

傳統(tǒng)交叉注意力允許一個(gè)序列(如解碼器)查詢另一個(gè)序列(如編碼器)的信息,但在時(shí)間序列與文本融合的場(chǎng)景中,簡(jiǎn)單的交叉注意力會(huì)導(dǎo)致語(yǔ)言模型原有的文本理解能力被稀釋,或者時(shí)間序列信息被文本主導(dǎo)而無(wú)法充分利用。

門(mén)控機(jī)制通過(guò)動(dòng)態(tài)調(diào)節(jié)注意力權(quán)重,使模型能夠自適應(yīng)地決定何時(shí)、在多大程度上整合不同模態(tài)的信息。具體實(shí)現(xiàn)上,系統(tǒng)在交叉注意力層后增加了一個(gè)可學(xué)習(xí)的門(mén)控參數(shù)(通常通過(guò)tanh激活函數(shù)),這個(gè)參數(shù)根據(jù)當(dāng)前上下文動(dòng)態(tài)計(jì)算一個(gè)0到1之間的門(mén)控值。當(dāng)模型處理需要深度依賴時(shí)間序列數(shù)據(jù)的任務(wù)(如"這段心電圖顯示了什么異常?")時(shí),門(mén)控值自動(dòng)接近1,允許時(shí)間序列信息充分流入;而當(dāng)處理純文本推理任務(wù)時(shí),門(mén)控值接近0,保持語(yǔ)言模型的原生能力不受干擾。這種設(shè)計(jì)確保了模型既能進(jìn)行復(fù)雜的時(shí)間序列分析,又不會(huì)"遺忘"預(yù)訓(xùn)練階段學(xué)到的語(yǔ)言知識(shí)。

這一機(jī)制的實(shí)際效果體現(xiàn)在模型的多任務(wù)表現(xiàn)上。在斯坦福醫(yī)院的臨床驗(yàn)證中,OpenTSLM不僅能準(zhǔn)確分析ECG波形(時(shí)間序列任務(wù)),還能將分析結(jié)果與患者病史、用藥情況等文本信息結(jié)合,生成臨床級(jí)別的綜合診斷報(bào)告。心臟病專(zhuān)家評(píng)估顯示,模型在整合臨床上下文方面獲得了85.1%的正面評(píng)價(jià),這直接證明了門(mén)控交叉注意力在多模態(tài)信息融合上的卓越能力。更重要的是,這種融合是雙向的——時(shí)間序列數(shù)據(jù)為語(yǔ)言理解提供了客觀依據(jù),而語(yǔ)言模型的推理能力又幫助解釋時(shí)間序列中的復(fù)雜模式,兩者相互增強(qiáng),實(shí)現(xiàn)了1+1>2的協(xié)同效應(yīng)。

四、性能突破：全面超越GPT-4o

研究團(tuán)隊(duì)創(chuàng)建了三個(gè)全新的思維鏈(Chain-of-Thought, CoT)數(shù)據(jù)集,專(zhuān)注于醫(yī)療推理:

• HAR-CoT: 人體活動(dòng)識(shí)別數(shù)據(jù)集,用于評(píng)估模型對(duì)加速度計(jì)等傳感器數(shù)據(jù)的理解能力
• Sleep-CoT: EEG睡眠分期數(shù)據(jù)集,評(píng)估模型對(duì)腦電波信號(hào)的分析和睡眠階段判斷能力
• ECG-QA-CoT: ECG問(wèn)答數(shù)據(jù)集,評(píng)估模型對(duì)心電圖解讀和臨床推理能力

在睡眠分期任務(wù)中,OpenTSLM達(dá)到了69.9%的F1分?jǐn)?shù),而最佳微調(diào)文本基線僅為9.05%,性能提升達(dá)7.7倍。在活動(dòng)識(shí)別任務(wù)中,OpenTSLM達(dá)到65.4%的F1分?jǐn)?shù),顯著超越傳統(tǒng)方法。

更令人矚目的是與GPT-4o的直接對(duì)比。即使是僅有10億參數(shù)的小型OpenTSLM模型,也顯著超越了GPT-4o。

在Sleep-CoT任務(wù)中,GPT-4o處理文本token形式時(shí)僅獲得15.47%的F1分?jǐn)?shù),而處理圖像輸入時(shí)表現(xiàn)更差。相比之下,OpenTSLM-1B以原生時(shí)間序列方式處理,達(dá)到69.9%的F1分?jǐn)?shù)。

這一發(fā)現(xiàn)揭示了一個(gè)重要原則:專(zhuān)門(mén)化、領(lǐng)域適配的AI架構(gòu)無(wú)需大規(guī)模參數(shù)即可實(shí)現(xiàn)卓越性能,為高效的設(shè)備端醫(yī)療AI部署鋪平了道路。

斯坦福醫(yī)院的5位心臟病學(xué)專(zhuān)家對(duì)OpenTSLM-Flamingo模型的ECG解釋推理進(jìn)行了嚴(yán)格評(píng)估。結(jié)果顯示,在92.9%的病例中,模型提供了正確或部分正確的ECG解釋。特別值得注意的是,模型在整合臨床情境方面表現(xiàn)出色,獲得85.1%的正面評(píng)價(jià),展現(xiàn)出對(duì)原始傳感器數(shù)據(jù)的復(fù)雜推理能力。

這一驗(yàn)證證明,OpenTSLM不僅性能卓越,其推理過(guò)程也符合臨床專(zhuān)家的認(rèn)知標(biāo)準(zhǔn),可為實(shí)際診療提供可靠支持。模型生成的自然語(yǔ)言解釋不僅準(zhǔn)確,而且邏輯清晰,能夠被臨床醫(yī)生直接理解和使用。

OpenTSLM標(biāo)志著多模態(tài)機(jī)器學(xué)習(xí)的重大進(jìn)步。通過(guò)有效彌合LLM與時(shí)間序列數(shù)據(jù)之間的鴻溝,這項(xiàng)研究為通用型時(shí)間序列語(yǔ)言模型奠定了基礎(chǔ),能夠處理不同領(lǐng)域的縱向數(shù)據(jù)。

本文轉(zhuǎn)載自??魯班模錘??，作者：祝融