目录原理简介一、BiTCN层二、BiLSTM层三、Attention机制数据介绍结果展示全家桶代码目录代码获取之前的推文中我们推出了Attention模型全家桶也就是注意力机制全家桶这个全家桶会逐步推出所有带注意力机制的深度学习模型。目前已经有CNN/TCN/LSTM/BiGRU/BiTCN-Attention五种多变量回归模型打包到全家桶中方便大家选择最适合自己数据的模型。CNN/TCN/LSTM/BiGRU-Attention到底哪个模型效果最好注意力机制全家桶来啦一次购买永久更新BiTCN-Attention一键实现回归预测8张图特征可视化图注意力全家桶再更新同时也给了大家将多种预测模型绘制到一张图中的代码将四种算法的预测结果绘制在一张图中今天我们再次对注意力全家桶进行更新将最新推出的BiTCN-BiLSTM-Attention回归预测模型加入到全家桶中。同时我们在模型中加入了特征图可视化不仅能够帮助我们理解模型内部特征、方便诊断和调试模型更能吸引审稿人的注意力、增加文章的工作量之前已经购买过全家桶的小伙伴可直接免费下载您只需做的工作替换Excel数据一键运行main文件无需更改代码非常适合新手小白原理简介一、BiTCN层传统的TCN只对输入序列进行正向卷积计算只提取正向数据特征忽略了反向中的隐含信息。在输入序列的每一层卷积之后扩张因子呈指数增长。经过几次卷积BiTCN获得了更大的接受域。BiTCN接受域的增加带来了梯度消失和收敛缓慢等问题。残差块的引入可以避免这些问题同时实现对序列的高效特征提取。剩余块如图3所示。因此采用双向时间卷积结构BiTCN来捕捉前后方向的隐藏特征以更好地获得序列的长时间依赖性BiTCN的网络结构如下图所示非常新颖二、BiLSTM层LSTM网络主要由记忆单元和门控单元即输入门、遗忘门和输出门组成。记忆单元用于存储并更新状态信息输入门决定输入序列中哪些信息可以被传入单元遗忘门选择性遗忘上一单元隐藏状态的部分信息输出门筛选被传入下一单元的信息。BiLSTM以由两层异向的LSTM网络为基础考虑了前后不同时刻时序数据之间的相互影响克服了LSTM中数据单向流动的局限性。三、Attention机制自注意力机制在传统注意力机制的基础上进行了进一步改良通过并行计算同时计算一句话中所有元素之间的相似性得分从而获取全局的信息而非单一上下文的信息这使得自注意力机制能够更全面地理解整个序列的语义并更好地捕捉元素之间的复杂关系其相关公式如下所示式中Wq、Wk、Wv为线性变化矩阵Q、K、V分别为查询向量query、键向量key和值向量valuedk为查询向量和键向量的维度。最后将注意力权重和值向量进行加权求和得到自注意力机制的输出。为了更清晰地展现网络结构与原理此处将程序中运行出的网络结构图放出方便大家直观感受此模型结构。数据介绍本期采用的数据是经典的回归预测数据集是为了方便大家替换自己的数据集各个变量采用特征1、特征2…表示无实际含义最后一列即为输出。更换自己的数据时只需最后一列放想要预测的列其余列放特征即可特特征数量不限无需更改代码非常方便结果展示设置最大训练次数为200次初始学习率为0.01L2正则化系数为0.0005卷积核个数为64卷积核大小为5空间丢失因子为0.1残差块个数为1利用上文的回归预测数据集进行预测划分80%为训练集20%为测试集得到的结果如下所示测试集预测效果图训练集预测效果图特征可视化图误差直方图预测误差图四张线性拟合图网络结构图预测结果显示可以看到BiTCN-BiLSTM-Attention在该回归数据集上的预测精度还是不错的R2达到了0.96以上MAPE指标仅为0.03MAE、RMSE也仅为个位数如果再做几个对比模型那么文章不就蹭蹭发了吗~以上结果展示中所有图片作者都已精心整理过代码都可以一键运行main直接出图不信的话可以看下面文件夹截图非常清晰明了适用平台要求Matlab2023a版本及以上没有的文件夹里已免费提供安装包全家桶代码目录目前全家桶在之前5个模型以及1个画图程序的基础上又增加了一个共7个之后还会推出更多更新颖的模型正如上文提到的如果你想快速发paper或者想要尝试到底哪个模型才最适合你的数据、精度最高或者需要很多对比模型衬托你的模型的优越性那么全家桶包含的这么多模型可以说完全符合你的需求购买后如果以后推出其他注意力机制模型直接免费下载无需再次付费。但如果你之后再买一旦推出新模型价格必然会上涨。因此需要创新的小伙伴请尽早下手。代码获取1.已将本文算法加入注意力全家桶中点击下方小卡片再后台回复关键字注意力全家桶2.如果实在只想要BiTCN-BiLSTM-Attention单品的同学点击下方小卡片再后台回复关键字不区分大小写Attention单品