1.数据集介绍ETT(电变压器温度)由两个小时级数据集ETTh和两个 15 分钟级数据集ETTm组成。它们中的每一个都包含 2016 年 7 月至 2018 年 7 月的七种石油和电力变压器的负载特征。traffic(交通) 描述了道路占用率。它包含 2015 年至 2016 年旧金山高速公路传感器记录的每小时数据electrity电力从 2012 年到 2014 年收集了 321 个客户每小时电力消耗。exchange_rate汇率收集了 1990 年至 2016 年 8 个国家的每日汇率。Weather包括 21 个天气指标例如空气温度和湿度。它的数据在 2020 年的每 10 分钟记录一次。ILLNESS描述了患有流感疾病的患者与患者数量的比率。它包括 2002 年至 2021 年美国疾病控制和预防中心每周数据。数据集链接https://drive.google.com/drive/folders/1ZOYpTUa82_jCcxIdTmyr0LXQfvaM9vIy参考文献[1]https://ojs.aaai.org/index.php/AAAI/article/view/16936[2]https://www.nature.com/articles/s41597-022-01721-8[3]https://www.nature.com/articles/s42256-022-00556-72.处理方法1方法·液体神经网络Ramin Hasani 等人首次引入了液体时间常数网络Liquid Time-constant networks这使得网络具有可变的非线性关系而不是预先定义固定的非线性。随后他们将这类LTC细胞应用于神经回路策略NCP架构中。Liquid Neural Networks (LNNs) 是一种连续时间循环神经网络CT-RNN它们通过微分方程ODE来描述隐藏状态随时间的演化过程。在 LNNs 中隐藏状态的导数和时间常数不是固定的而是由神经网络动态生成的这种机制被称为 Liquid Time Constant (LTC)。而 CfCClosed-form Continuous-depth网络 是 LNNs 的一种高效实现方式。与传统 LNN例如 LTC通过数值求解器解 ODE 不同CfC 使用了一个近似的闭式解closed-form solution这使得它在训练和推理过程中显著更快。在 CfC 中隐藏状态 x(t)x(t)x(t) 在任意时间点 t的更新方式如下三个神经网络共享一个前馈骨干网络它是由多个全连接层和非线性激活函数组成。然后分别接入三种不同的“头部”其中f的头是一个放射函数ba(Δt)其中Δt是时间步长a和b是由两层线性全连接层计算得出。g和h的头是使用tanh激活函数的全连接层。·Attention机制缩放点积Attention 是 Transformer 模型中的核心机制能够高效捕获序列数据中的全局依赖关系。它的目标是基于查询Query、键Key和值Value之间的相似性计算加权输出。公式如下优势在于全局信息建模每个查询都能与所有键进行匹配捕获序列的全局依赖。计算高效点积操作简单且易于并行化。适应不同权重Softmax 的归一化使模型能够灵活关注重要位置。·Mamba模型Mamba 是第一个真正实现匹配 Transformer 性能的线性时间序列模型建立在适用于深度学习的结构化 SSM基础上与经典架构 RNN 相似。它通过输入相关的状态更新机制有效保留重要信息、遗忘冗余信息在保持长距离依赖建模能力的同时将计算复杂度降低到 O(n)。因此Mamba特别适合长序列场景如时间序列预测、自然语言处理、视觉任务和多模态学习等。Mamba Selective SSM状态空间模型 动态参数选择机制 线性时间复杂度扫描算法。2实验结果训练集、验证集和测试集划分设置为622。注需根据数据集的特征进一步探索最合适的参数组合以提升模型性能。相比LNN-Attention本文方法取得了进一步性能提升具体如下数据集模型R2MAERMSEETTm1LNN-Attention0.9840.3220.442ETTm1LNN-Attention-Mamba0.9900.3020.391ETTh1LNN-Attention0.9510.5700.767ETTh1LNN-Attention-Mamba0.9630.4800.667本文方法ETTm1数据集本文方法ETTh1数据集3.代码下载代码结构清晰注释加明尊重原创成果请勿随意转发谢谢理解【链接】液体神经网络LNN-Attention-Mamba创新结合——基于液体神经网络的时间序列预测PyTorch框架小英熊学长会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesignergui设计、simulink仿真......希望能帮到你
