Loading [MathJax]/jax/output/CommonHTML/autoload/mtable.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >时间序列算法(二)——相空间重构理论

时间序列算法(二)——相空间重构理论

作者头像
用户7506105
发布于 2021-09-27 02:49:55
发布于 2021-09-27 02:49:55
7.6K0
举报
文章被收录于专栏:碎片学习录碎片学习录

在时间序列问题的一般场景中,都是通过在时间域或者时域与频域的变换中进行研究的,而有一类时间序列本身是在确定系统中出现的无规则的运动极具混沌特性的时间序列(混沌的含义是混乱而没有秩序的状态),这个混沌现象是广泛存在的,因为很多后续变化都是对初值敏感,而且虽然整个过程中表面无规则但是实际上是可以通过一些动力学模型预测的。对于这一类混沌时间序列的问题(包括模型建立和预测)在现存的理论中是在相空间进行研究的,所以自然而然相空间重构是处理混沌时间序列中非常重要的过程

(上帝的指纹-分形与混沌)

相空间重构

重构的目的是为了挖掘整个时间序列更多的信息(包括相关性和动力学特性等),找到与原始系统在某种意义上等价的另一个新系统

坐标延迟法

除此之外还有一种是导数重构法,但导数重构中会进行微分操作,对误差=敏感且需要知道一些先验信息,所以一般不采用

本质是通过给定的一维时间序列{x(i)}(

i[1,n]

)的不同时间延迟来构建m维相空间矢量,即

x(i)=(x(i),x(i+τ),...,x(i+(m1)τ))

如此就将第i个序列值构建成了m维向量,其中

τ

为延迟时间,且

i[1,n(m1)τ]

,所以n个这样的序列值就可以构成一个n*m的矩阵相空间

注:这里是一维时间序列构成的相空间

引入学者Takens等人提出的嵌入定理,即对于一个无限长,无噪声且有d维的混沌时间序列(其中有个概念是吸引子,一个系统如果有朝某个稳态发展的趋势,那这个稳态就叫做吸引子),总可以在拓扑不变(即具有相同的内秉性,比如图之间的连通性不随图的大小、体积等可观测量度的变化而变化,具体概念可见拓扑学课本)的意义上找到一个m维的嵌入相空间,且这里的新相空间的维数满足

m>=2d+1

。嵌入定理的深层含义即从理论上保证了我们可以从指定维度的混沌时间序列中重构一个与原动力系统在拓扑意义下等价的相空间,由前文所述因为混沌时间序列的一些模型建立、分析、预测等过程都是在相空间中进行的,所以这个嵌入定理是进行相空间重构的理论基础。

由坐标延迟法可以看出,有两个参数需要确定,一个是延迟时间

τ

,一个是嵌入的相空间维数m,而在嵌入定理中,只是证明了嵌入维数和延迟时间的存在性,而并没有给出具体的表达式,而且实际应用中时间序列都是有噪声的有限序列(无噪声的序列嵌入维m和延迟时间

τ

可以取任意值),所以嵌入维数和时间延迟必须要根据实际的情况来选取合适的值,不然会影响重构的相空间的质量

混沌不变量有关联维数,Lyapunov 指数等,它是这里所谓内秉性的一些量度,即重构后尽量不发生变化的一些变量

相关参数选取方法

有两种观点,第一种是认为延迟时间

τ

和相空间嵌入维m是互不相关的,而另一种是认为这两个参数是相关的。

对于第一种观点,一般是先求时间延迟

τ

再求合适的相空间嵌入维数m,而对于时间延迟

τ

一般可采用自相关法平均位移法复自相关法互信息法等(见后)进行确定,这样一来原始的时间序列在经过这个时间延迟后就能作为独立的坐标,从而去找相空间的嵌入维数,为了使得重构后的吸引子和混沌系统中真正的吸引子尽可能拓扑等价,需要去找最小嵌入维m,主要方法是几何不变量虚假最临近点法,虚假最临近点法的改进-Cao方法

延迟时间
τ

的确定

主观判断,如果延迟时间很小,则相邻的两个值在数值上非常接近无法区分,从而无法提供独立的坐标分量,而如果延迟很大,则可能两个值毫无相关性可言,导致失真,故采用一些方法来确定其合理的值

  • 自相关函数法

本质是使得重构后的时序元素间相关性降低,且尽可能使得原序列的动力学特征不丢失,即局部无关,整体信息保留最大化的过程。引入自相关函数

连续型

C(τ)=limTT2T2x(t)x(t+τ)dt

离散型

C(τ)=1nnτt=1x(t)x(t+τ)

其中x为序列函数,这个

C(τ)

表述两时刻的序列相互关联程度,越大则越相似,所以这个函数随着

τ

的增大而减小(时间越长久越不相似)。使用实际观测数据做出自相关函数与延迟时间

τ

的函数图,当自相关函数下降到初始值的

11e

时,则此时的延迟时间就是相空间重构的延迟时间

τ

虽然简单有效,但是只能提取序列间的线性相关性,不太可能推广到高维

  • 平均位移法 定义相空间量相邻相点的平均距离为
Spm(τ)=1NNt=1||x(t+τ)x(i)||p

其中

x(i)

是选择任意的延迟时间

τ

而确定的,p为范数值,显然

Spm(τ)

会随着延迟时间

τ

增加而增加然后趋于饱和(因为太长的延迟时间构成的序列与原始序列独立性增强,影响差值的只有两个序列的整体动力学特点,明显这两个序列是一致的),一般选择曲线斜率在初始斜率的40%以下对应的序列延迟就是所求的时间延迟

τ

该方法可能有抖动,毕竟序列可能有噪声,所以具有一定的随机性

  • 复自相关法

它是在前面的自相关法和平均位移法的基础上演化而来的,考虑平移位移法的二阶范数所得到平均位移

S2m(τ)=1NNt=1mj=1(xt+jτxt)2
=2m1NNt=1x2t2mj=11NNt=0xtxt+jτ

其中令

Rxx(jτ)=1NNt=0xtxt+jτ

为时间跨度为

jτ

的自相关系数,且令

E=1NNt=1x2t

,则E为常数(因为是同一个序列),故这个式子可以看成是左边是平均位移法,右边的被减数包含自相关函数法,故复自相关法为

Rmxx(τ)=mj=1Rxx(jτ)

Rmxx(τ)

的第一个零点为延迟时间

τ
  • 互信息法

不管是自相关函数还是复自相关法都是判断的线性相关性,而混沌系统一般都是非线性系统,故引入互信息来解决这个问题,定义

[q,s]=[x(t),x(t+τ)]

,由信息论中互信息的定义

I(Q,S)=ijPsq(si,qj)log2[Psq(si,qj)Ps(si)Pq(qj)]

故此时的

I(x(t),x(t+τ))=I(τ)

一定是

τ

的函数,其值代表当已知

x(t)

下的

x(t+τ)

的确定性大小,如果为0,则说明

x(t+τ)

完全不可测,即不相关,而

min{I(τ)}

则是最大可能的不相关,所以只用选择这个互信息的第一个极小值就为最优延迟时间

τ
相空间嵌入维数m的确定

直观来看,m如果选的过小,吸引子会发生重叠,从而导致与原始吸引子完全不同(相当于维度压缩),如果选的过大,意味着吸引子的信息结构被完全打开,增大了计算量而且也增大了噪声数据的影响,故需要合理选择嵌入维数

由前嵌入定理知道,m>=2d+1才能使得拓扑意义上的等价

  • 几何不变量法

在选定延迟时间

τ

后,逐渐增加m,不断计算混沌不变量(如关联维数,Lyapunov 指数等)直到停止变化为止的最小m即为所求

  • 虚假最临近点法

我们是将混沌时间序列映射到高维相空间中(因为m >= 2d+1),反向来看则是混沌时间序列是高维相空间在d维空间上的投影,既然有投影就会有重叠,故存在在高维相空间并不相邻的两点在混沌序列中相邻,这样的点称为虚假邻点,这也是为什么混沌时间序列表面无规律的原因所在,而重构相空间则是恢复这个维度,逐渐打开混沌变化的轨道的过程,从而虚假邻点也会被剔除,这就是思想所在

在d维相空间中,有

x(i)=(x(i),x(i+τ),...,x(i+(m1)τ))

且存在一个最近邻点

xNN(i)

,定义距离为

Rpd(i)=||x(i)xNN(i)||p

当维数从d增加到d+1维时,则

Rpd+1(i)=Rpd(i)+||x(i+τd)xNN(i+τd)||p

如果此时

Rpd+1(i)

Rpd(i)

大很多,则可以认为这是由高维两个不相邻点投影至低维相邻的两点造成的,故这个点就是虚假邻点

a1(i,d)=||x(i+τd)xNN(i+τd)||pRpd(i)

a1(i,d)

大于阈值

Rr

则称

xNN(i)

x(i)

的虚假邻点,阈值

Rr[10,50]

所以此时方法是从嵌入维数m的最小值开始计算虚假最近邻点比例,然后不断增加这个维数,知道虚假最近邻点的比例小于5%或者虚假邻点的比例收敛为止,则此时的嵌入维数为最优嵌入维数m

  • 虚假最临近点法的改进-Cao方法

虚假最临近点法的虚假临近点会随着序列噪声的影响而起伏,而不是单调变化,且阈值

Rr

选择极具主观性

改写

a1(i,d)

a2(i,d)=||xd+1(i)xNNd+1(i)||||xd(i)xNNd(i)||

定义

E(m)=1NmτNmτi=1a2(i,m)
EL(m)=E(m+1)E(m)

若EL(m)在维数大于某一特定值后不再变化或者缓慢变化,则特定值即为选定的嵌入维数m

同时确定延迟时间和嵌入维数

即第二种观点

这种观点引入了一个概念,时间窗

τw

,即

τw=(m1)τ

让该时间窗不变即可,相当于延迟时间和嵌入维数成反比例关系,这种观点对应的计算量较为复杂,主要包含C-C方法、改进的C-C方法及微分熵比法,具体不展开了,总之目的都是为了确定最优的延迟时间和嵌入维数以确保和原始的系统能在拓扑意义上尽可能保持等价

建模预测过程

通过以上的解释,考虑一个混沌时间序列

{x(i)|i[1,n]}

,将其相空间重构为

⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪y1=x(1)=(x(1),x(1+τ),...,x(1+(m1)τ))y2=x(2)=(x(2),x(2+τ),...,x(2+(m1)τ))......yi=x(i)=(x(i),x(i+τ),...,x(i+(m1)τ))......yn(m1)τ=x[n(m1)τ]={x[n(m1)τ],...,x(n)}

这样我们就可以在嵌入维数为m的欧式空间建立动力系统模型为

yi+1=x(i+1)=F(x(i))=F(yi)

F可以由最小二乘法、神经网络、小波分析等方法训练出

假设

N=n(m1)τ

,则有

yN(m)=(x(N),...,x(n))

,则采用最小二乘法可以变成

^x(i+1)=c0x(N)+c1x(N+τ)+...
+cm1[N+(m1)τ]+cd

此时的

ci

已经计算出,故此时的预测值就确定了,也就是每一次时间点的最小二乘函数或者其他模型训练出来的函数的参数都可能不一致,因为从上面那个方程组可以看到时间越长越是采用的不相关的x进行的训练,从而体现了混沌系统的特性和相空间的优势所在。

总结

相空间重构对气象数据、通信、经济学等领域非常有用武之地,笔者曾经在一个研究气象污染物系统预报的实习项目中就用到了该方法,当时采用的是相空间重构构建数据分布+bp神经网络算法训练函数F和遗传算法进行特征选取的技术方案,最后使得预测误差较小,得到了当时公司技术大牛的认可,所以在有混沌序列的应用场景,条件反射地想到重构相空间不失为一个非常好的数据处理思路!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-09-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 碎片学习录 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
WWW 2025 | 时间序列(Time Series)论文总结
本文总结了WWW 2025有关时间序列(Time Series)相关文章,OpenReview上可以看到接收列表。如有疏漏,欢迎大家补充。
时空探索之旅
2025/02/26
3492
WWW 2025 | 时间序列(Time Series)论文总结
基于认知参照体系的理论解构与拓展
这种认知革命将打破人类现有的"连续-离散-随机"三元划分,正如相对论颠覆了绝对时空观。新的分类体系可能需要引入拓扑量子数的维度折叠参数,或建立基于量子纠错码的认知参考系。这不仅是理论的革新,更是认知范式的跃迁。
jack.yang
2025/04/05
650
时间序列自监督学习综述
自监督学习(SSL)是一种机器学习方法,最近在各种时间序列任务上取得了令人印象深刻的表现。SSL最显著的优点是它减少了对标记数据的依赖。基于预训练和微调策略,即使是少量的标记数据也能实现高性能。
算法进阶
2023/08/28
6380
时间序列自监督学习综述
时间序列:18个时间序列特征提取高效方法
时间序列特征提取是数据科学工作流程中的关键环节,能够将原始时间序列数据转化为具有分析价值的特征表示。
皮大大
2025/05/09
2710
使用GANs生成时间序列数据:DoppelGANger论文详解
序列数据(具有时间依赖性的数据)在业务中非常常见,从信用卡交易到医疗保健记录再到股票市场价格。但是,隐私法规限制并极大地减慢了对研发至关重要的有用数据的访问。这就产生了对具有高度代表性但又完全私有的合成顺序数据的需求,这至少可以说是具有挑战性的。
deephub
2020/10/19
1.4K0
使用GANs生成时间序列数据:DoppelGANger论文详解
【论文复现】时序预测:多头注意力+宽度学习
Liyun Su, Lang Xiong和Jialing Yang在2024年发表了题为“Multi-Attn BLS: Multi-head attention mechanism with broad learning system for chaotic time series prediction”的论文,发表在《Applied Soft Computing》杂志上(CiteScore14.3,影响因子8.7)。这篇论文针对混沌时间序列数据的高复杂性和非线性提出了一种新的范式,即将宽度学习模型与多头自注意力机制相结合。在此之前,将这两种高度非线性映射算法融合的主要方法是使用堆叠的多头自注意力来提取特征,然后使用宽度学习模型进行分类预测。这篇论文提出了一种直接将多头注意力模块集成到宽度学习中的方法,从而实现了端到端的预测模型。
Eternity._
2024/11/28
2980
【论文复现】时序预测:多头注意力+宽度学习
时间序列预测方法最全总结!
时间序列预测就是利用过去一段时间的数据来预测未来一段时间内的信息,包括连续型预测(数值预测,范围估计)与离散型预测(事件预测)等,具有非常高的商业价值。
Datawhale
2021/03/12
28.8K1
时间序列预测方法最全总结!
时间序列算法(一) ——Arima的演变
时间序列在生活中非常常见,它是按照时间排序、随时间变化的数据序列,时间序列对疾病感染增长、股票趋势预测等现实场景均非常常见,而arima算法模型是时间序列经典算法之一。
用户7506105
2021/08/09
2.2K0
【机器学习】--时间序列算法从初识到应用
指数平滑法对时间序列上连续的值之间的相关性没有要求。但是,如果你想使用指数平滑法计算出预测区间, 那么预测误差必须是不相关的, 且必须是服从零均值、 方差不变的正态分布。即使指数平滑法对时间序列连续数值之间相关性没有要求,在某种情况下, 我们可以通过考虑数据之间的相关性来创建更好的预测模型。 自回归移动平均模型( ARIMA)是最常用的时间序列预测模型。
LhWorld哥陪你聊算法
2018/09/13
7610
【机器学习】--时间序列算法从初识到应用
深度学习时间序列异常检测方法
本文全面概述了深度学习用于时间序列异常检测的最新架构,提供了基于策略和模型的方法,并讨论了各种技术的优点和局限性。此外,还举例说明了近年来深度学习在时间序列异常检测中各领域的应用。
算法进阶
2024/07/11
1.3K0
深度学习时间序列异常检测方法
【数据挖掘 & 机器学习 | 时间序列】时间序列必备工具箱: 自相关与偏相关检验
【数据挖掘 & 机器学习 | 时间序列】时间序列必备工具箱: 自相关与偏相关检验 作者: 计算机魔术师 版本: 1.0 ( 2023.11.18 )
计算机魔术师
2023/11/20
1.6K0
【数据挖掘 & 机器学习 | 时间序列】时间序列必备工具箱: 自相关与偏相关检验
ASI 8年计划 paper1:what is a thing?特定物理的自由能原理 part1
本专著尝试提出一种可以在统计意义上与其他“事物”区分的每个“事物”的理论。随之而来的统计独立性,通过马尔科夫毯介导,涉及到在越来越高的时空尺度上递归组合的整体(事物)。这种分解提供了对小事物的描述,例如,通过薛定谔方程的量子力学,通过统计力学和相关波动定理的小事物的整体,再到通过经典力学的大事物的描述。这些描述与自主或主动的事物的贝叶斯力学相辅相成。尽管这项工作提供了对每个“事物”的制定,但其主要贡献是研究马尔科夫毯对自组织到非平衡稳态的影响。简而言之,我们恢复了一个信息几何学和相应的自由能原理,使人们能够将某物的内部状态解释为代表或对其外部状态进行推断。随之而来的贝叶斯力学与量子力学、统计力学和经典力学兼容,可能提供对类似生命的粒子的正式描述。
CreateAMind
2024/02/06
1850
ASI 8年计划 paper1:what is a thing?特定物理的自由能原理 part1
时间序列预测任务的模型选择最全总结
如果你正在处理时间序列数据,那么就跟云朵君一起学习如何根据预测性能来比较和选择时间序列模型。
数据STUDIO
2023/02/24
5.7K0
时间序列预测任务的模型选择最全总结
状态空间模型:卡尔曼滤波器KFAS建模时间序列
时间序列是指同一种现象在不同时间上的相继观察值排列而成的一组数字序列。统计学上,一个时间序列即是一个随机过程的实现。时间序列按其统计特性可以分为平稳时间序列和非平稳时间序列两类。在实际生活中遇到的序列,大多数是不平稳的。
拓端
2020/11/03
1.2K0
状态空间模型:卡尔曼滤波器KFAS建模时间序列
【Time Series】时间序列基本概念
最近一直在接触时间序列,所以打算写一些有关时间序列的文章,预测部分会从规则开始、到传统模型、到机器学习、再到深度学习,此外也会介绍一些时间序列的基本概念,包括自相关、平稳性、滞后性、季节性等。
阿泽 Crz
2020/08/04
2.3K0
【Time Series】时间序列基本概念
【时序预测】一文梳理时间序列预测——ARMA模型
在统计研究中,常用按时间顺序排列的一组随机变量X1​,X2​,⋯,Xt​,⋯来表示一个随机事件的时间序列,简记为{Xt,t∈T}。在时间的角度上来说,数据类型可分为两类:横截面数据和时间序列[1]。横截面数据是值在某一时间点搜集来自不同对象的数据,时间序列是一组按照时间排序的数据;横截面数据与时间序列的组合在计量经济学上构成了面板数据集。
roganhuang
2020/07/22
19.1K0
【时序预测】一文梳理时间序列预测——ARMA模型
GNN如何建模时间序列?
时间序列是用于记录动态系统测量结果的主要数据类型,并由物理传感器和在线过程(虚拟传感器)大量生成。因此,时间序列分析对于发掘可用数据中隐含的信息丰富性至关重要。随着图神经网络(GNNs)的最近进步,基于GNN的时间序列分析方法的研究有所增加。这些方法可以明确地模拟时间和变量之间的关系,这是传统的和其他基于深度神经网络的方法难以做到的。在这次综述中,我们对图神经网络进行了全面的时间序列分析(GNN4TS),包括四个基本维度:预测、分类、异常检测和插补。我们的目标是指导设计师和实践者理解,构建应用,并推进GNN4TS的研究。首先,我们提供了一个全面的任务导向的GNN4TS分类。然后,我们介绍并讨论代表性的研究工作,最后讨论GNN4TS的主流应用。关于潜在的未来研究方向的全面讨论完整了这次综述。这次研查是首次汇集了大量关于基于GNN的时间序列研究的知识,突出了图神经网络用于时间序列分析的基础、实际应用和机会。
Houye
2023/09/04
7630
GNN如何建模时间序列?
R语言状态空间模型:卡尔曼滤波器KFAS建模时间序列
时间序列是指同一种现象在不同时间上的相继观察值排列而成的一组数字序列。统计学上,一个时间序列即是一个随机过程的实现。时间序列按其统计特性可以分为平稳时间序列和非平稳时间序列两类。在实际生活中遇到的序列,大多数是不平稳的。
拓端
2020/10/24
1.5K0
线性平稳时间序列
王燕老师的书上的符号和我们老师讲课的符号有一些出入,虽然在写的过程中有意识地去使用赵老师上课用的符号但难免会有所疏漏,这里将两本书上符号的对应关系列一下:
爱编程的小明
2022/10/31
1K0
线性平稳时间序列
【时序预测】时间序列分析——时间序列的平稳化
将非平稳时间序列转化成平稳时间序列,包含三种类型:结构变化、差分平稳、确定性去趋势。本文脉络框架如下:
roganhuang
2020/07/22
12K0
【时序预测】时间序列分析——时间序列的平稳化
推荐阅读
相关推荐
WWW 2025 | 时间序列(Time Series)论文总结
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档