今天給大家介紹一篇ICML2025的時間序列預(yù)測工作，提出了一個輕量級、兼容不同類型數(shù)據(jù)的周期性差異的時間序列基礎(chǔ)模型，在Zeroshotlearning、Fullshotlearning等場景中都取得了顯著效果提升。論文標題：LightGTS:ALightweightGeneralTimeSeriesForecastingModel下載地址：??https:arxiv.orgpdf2506.06005??1.研究背景時間序列基礎(chǔ)模型希望構(gòu)建類似LLM的時序領(lǐng)域通用模型，在大量多樣性的數(shù)據(jù)集上預(yù)訓(xùn)練，訓(xùn)練好的模型在下游...

今天給大家介紹一篇中科大、騰訊聯(lián)合發(fā)表的CTR預(yù)估模型優(yōu)化工作，探索了多專家網(wǎng)絡(luò)多樣性對于模型效果的影響。論文標題：EnhancingCTRPredictionwithDecorrelatedExpertNetworks下載地址：??https:arxiv.orgpdf2505.17925??1.研究背景最近兩年，隨著ScalingLaw在各個領(lǐng)域的研究，推薦系統(tǒng)領(lǐng)域也開始逐漸引入這種思想進一步提升模型能力。其中，一種常見的思路是利用MoE擴大參數(shù)空間，并結(jié)合多種類型的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建預(yù)估模型...

今天給大家介紹的這篇文章來自KDD2025，提出了一種適用于時間序列的數(shù)據(jù)增強方法，核心思路是在頻域進行重要成分的保留和非重要成分的變換，使得增強后的數(shù)據(jù)既能保證和原始數(shù)據(jù)語義相同，又能提升數(shù)據(jù)的多樣性。論文標題：FreRA:AFrequencyRefinedAugmentationforContrastiveLearningonTimeSeriesClassification下載地址：??https:arxiv.orgpdf2505.23181v1??1.研究背景數(shù)據(jù)增強是深度學(xué)習(xí)中常用的一種方法，特別是在對比...

今天給大家介紹一篇針對多變量預(yù)測單變量場景的時間序列預(yù)測優(yōu)化工作。本文的核心是構(gòu)建了一種基于卷積的輕量級變量間關(guān)系學(xué)習(xí)模塊，提升變量間關(guān)系學(xué)習(xí)效率和緩解過擬合問題，提升多變量預(yù)測單變量的效果。論文標題：CrossLinear:PlugandPlayCrossCorrelationEmbeddingforTimeSeriesForecastingwithExogenousVariables下載地址：??https:arxiv.orgpdf2505.23116v1??1.研究背景時間序列預(yù)測有多種問題類型。單變量時間序列...

今天給大家介紹一篇最近東南大學(xué)發(fā)表的長周期時間序列預(yù)測工作。這篇文章的側(cè)重點也是多尺度建模，但和以往工作側(cè)重對輸入進行多尺度處理不同，本文的核心是引入多尺度的預(yù)測，并對不同尺度預(yù)測結(jié)果進行變量粒度個性化的加權(quán)融合。論文標題：AMultiscaleRepresentationLearningFrameworkforLongTermTimeSeriesForecasting下載地址：??https:arxiv.orgpdf2505.08199??1、研究背景多元長周期時序預(yù)測是時間序列預(yù)測中比較有挑...

今天給大家介紹一篇使用大語言模型結(jié)合知識蒸餾方法，構(gòu)建高效輕量級時間序列預(yù)測模型的方法。文中基于大語言模型通過多模態(tài)建模優(yōu)化適配到時間序列數(shù)據(jù)，并進一步通過優(yōu)勢知識蒸餾將大模型信息蒸餾到小模型中，實現(xiàn)模型尺寸不變而具備大模型知識的目的，提升時序預(yù)測效果。論文標題：EfficientMultivariateTimeSeriesForecastingviaCalibratedLanguageModelswithPrivilegedKnowledgeDistillation下載地址：??https:arxiv.org...

今天給大家介紹一篇ICLR2025中關(guān)于時間序列異常檢測的工作。這篇文章采用基于MemoryBank和Prototype的異常檢測方法，提出在此基礎(chǔ)上引入多尺度patch和多周期性的建模方法，進一步提升時間序列異常檢測效果。論文標題：LEARNHYBRIDPROTOTYPESFORMULTIVARIATETIMESERIESANOMALYDETECTION下載地址：??https:openreview.netpdfid8TBGdH3t6a??1.研究背景時間序列異常檢測的主流方法，是使用正常的時間序列訓(xùn)練一個自編碼器，序列...

在這一節(jié)，重點展開為大家梳理在大模型之前的GPT、BERT等深度語言模型的發(fā)展過程。在大模型之前，預(yù)訓(xùn)練語言模型是NLP中的核心，在pretrainfinetune這一階段的NLP發(fā)展中發(fā)揮著舉足輕重的作用。預(yù)訓(xùn)練語言模型的無監(jiān)督訓(xùn)練屬性，使其非常容易獲取海量訓(xùn)練樣本，并且訓(xùn)練好的語言模型包含很多語義語法知識，對于下游任務(wù)的效果會有非常明顯的提升。本文首先介紹預(yù)訓(xùn)練語言模型的里程碑方法，然后進一步介紹針對預(yù)訓(xùn)練語言模型中的...

今天給大家介紹一篇時間序列大模型研究工作。這項工作基于預(yù)訓(xùn)練的語言模型，增強時間序列預(yù)測效果，文中提出了多層次、多頻率表征抽取和語義對齊模塊，實現(xiàn)LLM在時間序列數(shù)據(jù)形式上更好的應(yīng)用。論文標題：LLMPS:EmpoweringLargeLanguageModelsforTimeSeriesForecastingwithTemporalPatternsandSemantics下載地址：??https:arxiv.orgpdf2503.09656??1.研究背景使用大模型進行時間序列預(yù)測已經(jīng)成為一個目前的熱點研究方向。...

在這個系列文章中，我會用通俗的語言，為大家介紹學(xué)習(xí)大模型的核心知識點。讀完這個系列的文章，你會深入理解語言大模型、多模態(tài)大模型的核心技術(shù)點，包括模型結(jié)構(gòu)、訓(xùn)練方式、數(shù)據(jù)處理、多模態(tài)融合等。大模型的前身是語言模型，圓圓是很早就開始在工業(yè)界研究和應(yīng)用語言模型的一批人，因此對整個深度學(xué)習(xí)時代語言模型的發(fā)展歷程都有見證。當(dāng)時還沒有Transformer、BERT，只有LSTM、Attention這種結(jié)構(gòu)。工業(yè)界效果最好、應(yīng)用最穩(wěn)...

今天給大家介紹一篇華為最近發(fā)表的時間序列分類大模型工作，填補了專門用于時間序列分類的大模型工作空白，借鑒了VisionTransformer的訓(xùn)練方式和模型結(jié)構(gòu)，遷移到時間序列分類任務(wù)中，在多種類型的數(shù)據(jù)集上取得了不錯的效果。推薦閱讀：???2024時序預(yù)測都有哪些經(jīng)典工作——匯總篇??，2024時間序列預(yù)測相關(guān)最新SOTA工作匯總，涉及模型結(jié)構(gòu)、表示學(xué)習(xí)、頻域信息、擴散模型10余個專題。論文標題：Mantis:LightweightCalibrat...

今天給大家介紹一片最新的多模態(tài)時間序列預(yù)測工作。這篇文章采用了時間序列、圖像、文本三種模態(tài)的數(shù)據(jù)形式，進行時間序列預(yù)測，增強底層信息的輸入，提升時序預(yù)測效果。論文標題：TimeVLM:ExploringMultimodalVisionLanguageModelsforAugmentedTimeSeriesForecasting下載地址：??https:arxiv.orgpdf2502.04395??1.研究背景傳統(tǒng)的時間序列預(yù)測方法，都是最基礎(chǔ)的時間序列形式數(shù)據(jù)進行建模的。然而，最近一些工作將文本信息...

今天給大家介紹一篇視頻多模態(tài)大模型工作，這篇文章的核心是探索了在現(xiàn)有的SOTA視頻多模態(tài)大模型中，引入顯示的視頻時序建模提升模型的視頻理解能力。論文標題：ExploringtheRoleofExplicitTemporalModelinginMultimodalLargeLanguageModelsforVideoUnderstanding下載地址：??https:arxiv.orgpdf2501.16786??1.研究背景傳統(tǒng)的時間序列預(yù)測方法，都是最基礎(chǔ)的時間序列形式數(shù)據(jù)進行建模的。然而，最近一些工作將文本信息、圖...

LLaMA是目前很多SOTA開源大模型的基礎(chǔ)，包括DeepSeek、千問等在內(nèi)的很多大模型的模型機構(gòu)大體上都沿用了LLaMA。因此，LLaMA在模型結(jié)構(gòu)的設(shè)計上可以說是目前大模型的一種最佳實踐。這篇文章就給大家匯總一下LLaMA的核心模型結(jié)構(gòu)。LLaMA的主體結(jié)構(gòu)仍然基于Transformer，本文主要介紹LLaMA各個版本相比于Transformer的改進部分，包括PreNormalization、RMSNorm、SwiGLU激活函數(shù)、RotrayEmbedding等部分。1.PreNormalization基礎(chǔ)的T...

最近，DeepSeek在國際上很火，一方面其效果比肩非開源模型ChatGPT，另一方面其運行成本很低。可以說，DeepSeek是目前為止最先進的大模型之一。今天這篇文章，就帶大家梳理一下從2024年至今DeepSeek發(fā)布的V1版本到V3版本的核心技術(shù)點，看看DeepSeek采用了哪些技術(shù)構(gòu)建了最先進的大模型，每一次的升級基本都伴隨著訓(xùn)練數(shù)據(jù)的優(yōu)化、模型結(jié)構(gòu)的升級、優(yōu)化方式的更新。為了方便大家閱讀，本文會用比較簡潔的語言進行主要技術(shù)的介紹，...

今天這篇文章給大家匯總市面上的各類LargeLanguageModel，從模型角結(jié)構(gòu)的角度、模型類型的角度進行劃分，涵蓋了目前市面上主流的LLM，一文了解各個LLM的基本實現(xiàn)方法和關(guān)系。從基礎(chǔ)模型結(jié)構(gòu)的角度，預(yù)訓(xùn)練語言模型可以分為Encoderonly、Decoderonly、EncoderDecoder三種類型。從市面上的LLM類型來看，可以分為GPT、LLaMA、PaLM等3個最主要的類型。下面，將這6個類別的模型，以及其中各個模型之間的關(guān)系給大家詳細介紹一下。1.模...

今天給大家介紹一篇時間序列表示學(xué)習(xí)的文章，這篇文章提出了一種和對比學(xué)習(xí)不同的表示學(xué)習(xí)方法，無需顯示構(gòu)造負樣本，避免了偽負樣本影響對比學(xué)習(xí)效果的問題。論文標題：FrequencyMaskedEmbeddingInference:ANonContrastiveApproachforTimeSeriesRepresentationLearning下載地址：??https:arxiv.orgpdf2412.20790v1??1.研究背景?表示學(xué)習(xí)可用來將原始數(shù)據(jù)轉(zhuǎn)換成向量，用于后續(xù)的深度學(xué)習(xí)任務(wù)?，F(xiàn)有的表示學(xué)習(xí)基本都采用對...

今天給大家介紹一篇不規(guī)則時間序列建模的工作。本文的核心是研究不規(guī)則時序預(yù)測中的變量間關(guān)系建模問題，研究焦點是如何在保持計算效率的同時，有效地捕捉長期依賴性和復(fù)雜變量間關(guān)系。研究者們提出了一個新穎的框架，通過結(jié)合局部的通道依賴（CD）策略和全局的通道獨立（CI）策略，顯著提升了模型在多個真實世界數(shù)據(jù)集上的性能。論文標題：TimeCHEAT:AChannelHarmonyStrategyforIrregularlySampledMultivariateTimeSeriesAnaly...

直接基于預(yù)訓(xùn)練的大語言模型（LLM）解決時間序列問題，是一個最近的重要研究點。之前的研究中，主要嘗試用LLM進行zeroshotlearning，或者基于LLM的參數(shù)進行finetune。隨著研究的深入，研究者發(fā)現(xiàn)，單獨的一個LLM模型，或者單獨的用LLM在時序數(shù)據(jù)上finetune，并不能取得最優(yōu)的效果。因此除了上述優(yōu)化之外，另一些工作嘗試同時引入LLM構(gòu)建文本模型和時序模型，并對兩種模態(tài)的信息進行對齊，提升時序預(yù)測效果。今天就給大家總結(jié)幾...

基于LargeLanguageModel做推薦系統(tǒng)可以說是最近2年推薦系統(tǒng)領(lǐng)域最火的研究點。一方面，LLM的理解能力、在各個領(lǐng)域的廣發(fā)應(yīng)用，使其自然而然衍生了和推薦系統(tǒng)結(jié)合的研究方向；另一方面，傳統(tǒng)的推薦模型優(yōu)化已逐漸進入瓶頸，依然基于原有的建模思路進一步優(yōu)化很難帶來顯著收益。因此無論是工業(yè)界還是學(xué)術(shù)界，都在LLM+推薦系統(tǒng)這個方向投入了很多的人力和資源。在2024年的推薦系統(tǒng)頂會工作中，大廠、學(xué)校合作的論文70%都是和大模型...