适合时空预测的时间序列表示学习方法

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《适合时空预测的时间序列表示学习方法》，以下内容主要包含等知识点，如果你正在学习或准备学习科技周边，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

最近，香港科技大学、上海AI Lab等多个组织联合发布了一篇时间序列无监督预训练的文章，相比原来的TS2Vec等时间序列表示学习工作，核心在于提出了将空间信息融入到预训练阶段，即在预训练阶段考虑各个序列之间的关系。因此，本文提出的方法也更适合作为时空预测领域的预训练模型。下面为大家详细介绍一下这篇文章。

论文标题：Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping

下载地址：https://arxiv.org/abs/2306.06994

1、背景

在过去的工作中，有很多对时间序列无监督预训练的研究，一般使用对比学习的思路进行时间序列Encoder的自监督训练。然而，历史的工作存在3个弊端。

第一个是大多数过去的方法学习的都是序列整体的表示，而时间序列预测任务更关注每个时间步的表示，因此上下游任务存在一定的不适配问题。

第二个是过去的工作都是在单个时间序列本身上进行预训练，没有考虑到各个序列之间的关系。

第三点是以往的对比学习预训练方法，在构造负样本的过程中经常出现伪负样本问题（即构造的负样本其实应该是正样本），这导致了对模型效果的负向影响。

针对上述3个问题，本文提出了一系列解决方法，核心是在预训练阶段同时考虑时序关系和空间关系，并且将对比学习框架改为不依赖正样本的BYOL。

图片

2、模型细节

本文提出的模型核心结构如下图所示，其核心一方面是将时空信息融合到对比学习中的方式，另一方面是对比学习框架的升级。

在预训练阶段，需要将时间和空间维度的信息同步融合以便进行时间序列分析及对比学习。对于时间维度，文中利用滑动窗口的方式，对一个序列生成两个有overlap的子序列，其中一个作为View，另一个作为时间维度的Target。用随机mask的方法，遮盖了一部分时间步的样本点的View部分。在时间维度的对比学习，即利用View和Temporal Target之间进行对比学习。

在空间维度上，根据节点之间的拓扑关系，随机采样一个当前序列的邻居序列，同样使用滑动窗口生产成本一个子序列。这个序列作为View的空间维度Target，使用对比学习拉近View和Spatial Target之间的距离。

在得到上述两类样本后，文中采用了BYOL的对比学习框架，避免了对负样本进行构造，因此解决了伪负样本的问题。BYOL是一种只依赖正样本的对比学习框架，其原始论文中的具体做法为，使用两个模型结构完全相同但参数不同的online network和target network，其中target network的参数是online network参数的滑动平均，target network的输出表示是online network的预测目标，target部分不会根据loss更新其参数。也就是用两套参数实现正样本1对正样本2的预测。

图片

在本文中也是类似的方式，利用被部分mask的View，同时预测Temporal Target和Spatial Target，模型的loss包含Temporal和Spatial两部分相应的对比学习loss。模型的具体结构采用了TCN的结构（主体为空洞卷积），且View的模型参数和Target的模型参数不共享。

3、实验效果

下面为本文提出的表示学习方法在时空预测数据集上的预测效果，可以看到相比TS2Vec（目前SOTA的时间序列表示学习方法），有比较明显的效果提升。这说明在时空预测类型的问题中引入空间信息的对比学习方法的效果更好。

图片

下图为预测case分析，本文提出的方法相比TS2VecUI有更好的预测趋势。

图片

以上就是《适合时空预测的时间序列表示学习方法》的详细内容，更多关于模型,学习框架,时间序列的资料请关注golang学习网公众号！