时间序列建模是一个成熟的问题，通常需要方法（1）表达复杂的依赖关系，（2）预测长期的走势，（3）高效地训练长序列。状态空间模型（SSMs）是时间序列的传统模型，之前的研究将SSMs与深度学习层组合起来实现高效的序列建模。然而，我们发现这些先前的方法存在根本性限制，证明它们的SSM表示无法表达自回归时间序列过程。因此，我们提出了SpaceTime，一种新的状态空间时间序列架构，可以提高以上三个标准。为了提高表达力，我们提出了一种基于伴随矩阵的新的SSM参数化方法，伴随矩阵是离散时间过程的标准表示方法，使得SpaceTime的SSM层可以学习到理想的自回归过程。为了预测长期趋势，我们引入了伴随SSM的“闭环”变体，使得SpaceTime可以通过生成自己的层输入来预测许多未来的时间步长。为了高效训练和推理，我们提出了一种算法，可以减少使用伴随矩阵时正向传播的内存和计算。随着序列长度$\ell$和状态空间大小$d$，我们从$\tilde{O}(d \ell)$的朴素复杂度降到了$\tilde{O}(d+\ell)$。在实验中，我们的贡献在广泛和多样化的基准测试中取得了最佳或次佳的6/7 ECG和语音时间序列分类的AUROC，以及14/16 Informer预测任务的最佳MSE结果。此外，我们发现SpaceTime（1）适用于先前深度SSM失败的AR（$p$）过程，（2）比先前的最先进的模型在长期预测上具有更高的准确性，（3）相对于Transformers和LSTMs，可以使真实世界的ETTh1数据训练加速达到73％和80％的相对墙钟时间。
论文链接：http://arxiv.org/pdf/2303.09489v1
更多计算机论文：http://cspaper.cn/