TimeXer：外生变量增强的 Transformer 时间序列预测
发表评论
5 views

中文标题：TimeXer：利用 Transformer 进行包含外生变量的时间序列预测

英文标题：TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables

发布平台：NeurIPS

NeurIPS

发布日期：2024-11-11

引用量（非实时）：305

DOI：10.48550/arXiv.2402.19072

作者：Yuxuan Wang, Haixu Wu, Jiaxiang Dong, Guo Qin, Haoran Zhang, Yong Liu, Yunzhong Qiu, Jianmin Wang, Mingsheng Long

关键字： #TimeXer

文章类型：preprint

品读时间：2025-11-21 11:09

1 文章萃取

1.1 核心观点

TimeXers 是一个可用于多元预测的深度时序预测模型，该模型同时使用了基于块的自注意力机制和基于变量的交叉注意力机制，协调内生变量和外生变量的信息，并在十二个真实世界的预测基准测试中均取得了 SOTA

1.2 综合评价

  • 模型架构创新性一般，实验结论丰富，通用性和可扩展性强
  • 代码开源，对外生数据问题容忍度高，具备较好的实践价值

1.3 主观评分：⭐⭐⭐⭐

2 精读笔记

外生变量的引入：

  • 时间序列数据的变化往往受到经济指标、人口变化和社会事件等外部因素的影响
  • 引入外生变量有助于理解不同变量之间的相关性和因果关系，提高预测的性能和可解释性
  • 模型需要处理不规则和异质的外生序列，包括缺失值、时间错位、频率不匹配和长度差异等问题

2.1 算法细节

问题设置：

  • 模型输入为一个时间窗口为 $T$ 的内生时间序列 $\mathbf{x}_{1:T}={x_{1},x_{2},...,x_{T}}\in\mathbb{R}^{T\times1}$ 和多个时间窗口为 $T_{ex}$ 的外生时间序列 $\mathbf{z}{1:T{\mathrm{ex}}}={\mathbf{z}{1:T{\mathrm{ex}}}^{(1)},\mathbf{z}{1:T{\mathrm{ex}}}^{(2)},...,\mathbf{z}{1:T{\mathrm{ex}}}^{(C)}}\in\mathbb{R}^{T_{\mathrm{ex}}\times C}$
  • 预测目标是预测未来 $S$ 个时间步长的 $\hat{\mathbf{x}}={x_{T+1},x_{T+2},...,x_{T+S}}$

TimeXer 的框架设计：

  • （a）对于内生时间序列，先对序列按顺序进行分块，再分别计算嵌入表示，同时随机初始化一个全局嵌入表示
  • （b）对于外生时间序列，每个序列都单独计算嵌入表示，最终每个外生变量序列都有一个变量级嵌入表示
  • （c）应用自注意力机制，捕捉全局、不同时间段的内生嵌入表示之间的依赖关系
  • （d）应用交叉注意力机制，以内生嵌入作为 query，外生嵌入作为 key/value，整合外部信息

损失函数： $$ \mathrm{Loss}=\sum_{i=1}^{S}\left|\mathbf{x}_{i}-\hat{\mathbf{x}}_{i}\right|_{2}^{2},\quad\mathrm{where}\ \hat{\mathbf{x}}=\text{Projection}\left([\mathbf{P}_{\mathrm{cn}}^{L},\mathbf{G}_{\mathrm{cn}}^{L}]\right) $$

  • 其中 $\mathbf{P}_{\mathrm{cn}}^{L}$ 表示最终层的分块嵌入，$\mathbf{G}_{\mathrm{cn}}^{L}$ 表示最终层的全局嵌入（均已整合外部信息）

并行多元预测：TimeXer 通过通道独立机制可以将不同的变量指定为内生变量，从而并行地对每个变量进行预测，实现多元预测；不同通道之间共享自注意力层和交叉注意力层

2.2 实验结论

  • TimeXer 在多个短期和长期真实世界时序预测中均取得了 SOTA
  • 消融实验显示，交叉注意力机制对模型性能影响较大，其次是全局嵌入
  • TimeXer 可以适应内生变量和外生变量回溯长度不一致的情况
  • 内生变量时序表征在预测中占主导地位，因此外生变量的高缺失对模型影响较小

TSLib 时序分析 Python 库：

  • 本文作者还维护了一个面向深度学习研究人员的深度时间序列分析开源库
  • 该库涵盖五项主流时序任务： 长期和短期预测、插补、异常检测和分类
  • 截至2024年3月，TimeXer 在该库的长期时序预测评测榜单上排名第一
  • 截至2024年3月，TimesNet 在短期预测/插补/分类/异常检测榜单上排名第一

相关资源

往年同期文章