时间序列预测+NLP大模型新作：为时序预测自动生成隐式Prompt

今天我想分享一个最新的研究工作，这项研究来自康涅狄格大学，提出了一种将时间序列数据与自然语言处理（NLP）大模型在隐空间上对齐的方法，以提高时间序列预测的效果。这一方法的关键在于利用隐空间提示（prompt）来增强时间序列预测的准确性。

论文标题：S2IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

下载地址：https://arxiv.org/pdf/2403.05798v1.pdf

1、问题背景

大模型在时间序列上的应用越来越多，主要分为两类：第一类使用各类时间序列数据训练一个时间序列领域自己的大模型；第二类直接使用NLP领域训练好的文本大模型应用到时间序列中。由于时间序列不同于图像、文本，不同数据集的输入格式不同、分布不同，且存在distribution shift等问题，导致使用所有时间序列数据训练统一的模型比较困难。因此，越来越多的工作开始尝试如何直接使用NLP大模型解决时间序列相关问题。

本文还关注第二种解决时间序列问题的方法，即利用NLP大模型。目前的做法通常使用时间序列的描述作为提示，但并非所有时间序列数据集都包含这种信息。此外，基于patch的时间序列数据处理方法也无法完全保留时间序列数据的所有信息。

基于上述问题，这篇文章提出了一种新的建模方法，核心建模思路，一方面将时间序列通过tokenize处理后映射成embedding，另一方面将这些时间序列空间的表征对齐到大模型中的word embedding上。通过这种方式，让时间序列的预测过程中，可以找到对齐的word embedding相关的信息作为prompt，提升预测效果。

图片

2、实现方法

下面从数据处理、隐空间对齐、模型细节等3个方面介绍一下这篇工作的实现方法。

数据处理：由于时间序列的distribution shift等问题，本文对输入序列做了一步趋势项季节项分解。每个分解后的时间序列，都单独做标准化，然后分割成有重叠的patch。每一组patch对应趋势项patch、季节项patch、残差patch，将这3组patch拼接到一起，输入到MLP中，得到每组patch的基础embedding表征。

隐空间对齐：这是本文中最核心的一步。Prompt的设计对大模型的效果影响很大，而时间序列的prompt又难以设计。因此本文提出，将时间序列的patch表征和大模型的word embedding在隐空间对齐，然后检索出topK的word embedding，作为隐式的prompt。具体做法为，使用上一步生成的patch embedding，和语言模型中的word embedding计算余弦相似度，选择topK的word embedding，再将这些word embedding作为prompt，拼接到时间序列patch embedding的前方。由于大模型word embedding大多，为了减少计算量，先对word embedding做了一步映射，映射到数量很少的聚类中心上。

模型细节：在模型细节上，使用GPT2作为语言模型部分，除了position embedding和layer normalization部分的参数外，其余的都冻结住。优化目标除了MSE外，还引入patch embedding和检索出的topK cluster embedding的相似度作为约束，要求二者之间的距离越小越好。最终的预测结果，也是

图片

3、实验效果

文中对比了和一些时间序列大模型、iTransformer、PatchTST等SOTA模型的效果，在大部分数据集的不同时间窗口的预测中都取得了比较好的效果提升。

图片

同时，文中也通过t-SNE可视化分析了embedding，从图中可以看出，时间序列的embedding在对齐之前并没有明显的类簇现象，而通过prompt生成的embedding有明显的类簇变化，说明本文提出的方法有效的利用文本和时间序列的空间对齐，以及相应的prompt，提升时间序列表征的质量。

图片