简介面向情感分析研究者与毕业设计学生这是一套覆盖多模态表示学习、多模态融合及情感分析建模全流程的完整工程资源。内置Multimodal-Infomax、MISA、BBFN、Hfusion等多种主流深度学习模型支持文本、音频、视觉三种模态的特征提取与融合并配套MELD、MUStARD、M2H2等公开数据集及预处理工具可直接用于训练、验证和评估。压缩包共223个文件以py源码、csv标注数据、arff特征文件、h5模型权重、pickle中间结果及md说明文档为主整体约289.81MB目录按算法模型、数据划分、特征处理、评估脚本等模块组织便于对照论文复现和二次开发。目前已有77人学习下载适合需要快速搭建多模态情感分析基线、完成课程设计或开展论文实验的读者。通过阅读具体实现可以掌握多模态数据加载、融合策略选择与情感分类评估的完整链路并在现有代码基础上调整参数、替换模型扩展自己的实验方案。1. 多模态情感分析模态对齐与融合才是模型研究的真正门槛多模态情感分析Multimodal Sentiment Analysis的模型研究难点往往不在深度学习而在表示学习与融合策略。同一个“我没事”文字中性、语音颤抖、表情勉强单模态模型会给出完全相反的结论所以研究目标不是把三个分类器拼在一起而是让文本、语音、视觉在情感语义上先对齐到可比较的表示空间再谈融合。这篇文章按数据集、特征提取、融合与评估的顺序整理一条可复现的技术路径从 MOSI/MOSEI 这类标准数据集出发用预训练模型提特征用注意力融合模块做对齐最后用 ACC-7、F1、MAE 这类指标判断模型是否真的学到了跨模态信息。适合要跑基线、写论文实验或做工程预研的读者。2. 多模态表示学习与特征提取让文本、语音、视觉先说同一种语言2.1 三个模态各自的原始特征与特征提取器多模态情感分析任务里最常见的模态组合是文本、音频和视频。处理它们的技术栈完全不同但都可以统一到“提取特征向量序列”这个抽象层次上。文本侧我一般用transformers里的预训练模型比如bert-base-uncased取最后一层隐藏状态或[CLS]向量作为 token 级或句子级表示音频侧常见做法是用openSMILE抽低层描述符LLD或者直接上librosa算 MFCC、基频 F0 和能量视频侧工程上最省事的不是训练一个视频大模型而是用 Face 或 OpenFace 提取面部动作单元AU和头部姿态但如果要做端到端实验也可以用预训练的 3D-CNN如 I3D抽 visual embedding。选择特征提取器时要注意一点开源数据集发布者通常会提供官方特征和划分比如 CMU-MOSI 就给了对齐后的文本、音频和视觉特征。很多论文直接基于这些特征做融合结论可比性更强。如果你想复现别人模型的基线优先下载官方特征而不是自己从头提取。自己提取特征用于跨数据集实验或工业场景没问题但要注意不同提取器产生的特征分布差异很大同一个融合模型可能因为输入特征分布变了而失效。2.2 对齐与归一化多模态表示学习的第一道工序表示学习的第一个坑是“模态不对齐”。文本的 token 粒度是词音频的帧长通常是 25ms视频的帧率是 30fps三种序列长度天然不同。原始数据必须先做时间戳对齐或序列级对齐否则融合层拿到的是错位的特征。常见的对齐策略有两种。一种是显式对齐把音频和视频特征按照时间戳插值到文本 token 的时间点CMU-MOSI 官方特征就是这么做的最终每个 token 对应一段语音和视频片段。另一种是隐式对齐不做时间戳匹配直接把三种模态的特征序列全部送入 Transformer-like 的注意力模块让模型自己学对齐。前者稳定、省显存后者适合长序列和弱对齐场景但训练不稳定。对齐之后还要做归一化。不同模态的数值范围差异很大文本输出可以很大音频 MFCC 通常在 -100 到 100 之间视频 AU 在 0 到 1 之间。如果直接把原始特征 concat数值大的模态会主导梯度但融合模型压根没学到语义。我一般会对每个特征维度做 z-score 归一化统计值来自训练集避免验证集信息泄露。下面是一个最小可用的特征提取 pipelineimport numpy as np import torch from transformers import AutoTokenizer, AutoModel import librosa # 文本特征BERT 最后一层 CLS tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) model AutoModel.from_pretrained(bert-base-uncased) model.eval() def text_feature(sentences): inputs tokenizer(sentences, paddingTrue, truncationTrue, return_tensorspt) with torch.no_grad(): last_hidden model(**inputs).last_hidden_state # 取 CLS 向量作为句子级表示 return last_hidden[:, 0, :].numpy() # 音频特征MFCC 统计量 def audio_feature(wav_path, sr16000): y, sr librosa.load(wav_path, srsr) mfcc librosa.feature.mfcc(yy, srsr, n_mfcc13) mfcc_delta librosa.feature.delta(mfcc) feat np.vstack([mfcc, mfcc_delta]) # 对帧维度做均值池化得到固定维度 return np.mean(feat, axis1)这段代码的思路是文本用 BERT 的[CLS]向量代表整句语音用 13 维 MFCC 加一阶差分再求帧级均值。逻辑上代码只覆盖了两种模态视觉特征可以用预提取的 OpenFace 向量直接读入。参数上n_mfcc13是常见取值sr16000是语音情感识别最常用的采样率不要用 44.1kHz 的原始采样率BERT 对文本长度也有 512 token 的上限实际使用时要截断。2.3 用官方特征跑通最小数据集如果你刚接触多模态情感分析建议直接使用 CMU-MOSI 数据集的官方对齐特征。这个数据集包含 2199 个短句视频片段标签是 -3 到 3 的七档情感得分。官方把每个样本分成文本、音频、视觉三个 npz 文件每个文件内部已经有对齐后的序列。加载代码通常长这样import numpy as np features np.load(mosi_data.npz, allow_pickleTrue) text features[text] # (样本数, 词数, 768) BERT 特征 audio features[audio] # (样本数, 词数, 74) openSMILE 特征 visual features[visual] # (样本数, 词数, 47) OpenFace 特征 label features[label] # 情感分数这份代码里的三个数组维度都是对齐后的形式第二维都是词数所以后续可以按时间步 concat。要注意 MOSI 的标签是连续情感值做二分类时通常把大于 0 视为正向做七分类时直接四舍五入到整数再做 label smoothing。现在你已经跑通了数据这一步下一步才是融合。3. 多模态融合算法从拼接、注意力到张量融合的实现与参数3.1 融合发生在哪个阶段早期、晚期还是混合多模态情感分析里的融合算法先要确认融合发生的阶段。早期融合Early Fusion在特征级别做拼接比如把文本、音频、视频向量直接 concat 后输入分类器实现最简单但忽略模态内部结构而且特征分布差异大会导致训练不稳。晚期融合Late Fusion在预测级别做平均或投票先训练三个单模态模型再把它们各自的 softmax 输出加权平均训练最容易因为每个模态是独立训练的但模型学不到模态间的交互信息。混合融合Hybrid Fusion则是在若干中间层分别融合最常见的是让文本作为主模态音频和视频特征通过注意力机制与文本逐 token 交互。工程上做基线时早期拼接和晚期平均是两个必须对比的底线方案。如果你的融合模型连这两个简单方案都打不过说明问题出在输入特征而非融合算法。很多多模态融合论文的贡献点就是先证明拼接不行再提出跨模态注意力来超越它。所以不要上来就写复杂模块先把基线跑通。3.2 基于注意力的融合层co-attention 的实现近三年引用比较多的融合算法里注意力机制是核心它的基本形式是让一种模态去查询另一种模态。以文本和视觉为例co-attention 层把视觉特征作为 key 和 value文本特征作为 query通过缩放点积注意力得到被视觉信息增强后的文本表示。下面是一个 minGPT 风格但足够清晰的 PyTorch 实现可以直接嵌进你自己的模型import torch import torch.nn as nn import torch.nn.functional as F class CoAttention(nn.Module): def __init__(self, d_model, nhead, dropout0.1): super().__init__() self.d_model d_model self.nhead nhead self.dropout nn.Dropout(dropout) self.q_linear nn.Linear(d_model, d_model) self.k_linear nn.Linear(d_model, d_model) self.v_linear nn.Linear(d_model, d_model) self.out_linear nn.Linear(d_model, d_model) def forward(self, query, key, value, maskNone): # query: (batch, tgt_len, d_model) # key/value: (batch, src_len, d_model) q self.q_linear(query) # 文本主导 k self.k_linear(key) v self.v_linear(value) # 拆分多头 B, T, _ q.size() S k.size(1) q q.view(B, T, self.nhead, -1).transpose(1, 2) k k.view(B, S, self.nhead, -1).transpose(1, 2) v v.view(B, S, self.nhead, -1).transpose(1, 2) attn_weights torch.matmul(q, k.transpose(-2, -1)) / (self.d_model // self.nhead) ** 0.5 if mask is not None: attn_weights attn_weights.masked_fill(mask 0, -1e9) attn_weights F.softmax(attn_weights, dim-1) attn_weights self.dropout(attn_weights) out torch.matmul(attn_weights, v) out out.transpose(1, 2).contiguous().view(B, T, -1) return self.out_linear(out)这段代码的核心逻辑是用文本特征 soft query 视频特征在视频帧上做 soft attention然后把加权后的视频特征投影回文本的表示空间。在这个模型里query 来自文本key 和 value 来自视觉。参数上d_model通常取 128 或 256nhead取 4 或 8dropout建议先在 0.1 起步过拟合明显时再调到 0.3。需要特别说明mask参数用于处理每个样本词数不同的问题把 padding 位置置为 0防止模型把注意力放到无意义的 pad token 上。3.3 融合模块的 3 个必调参数做融合层调参时我通常只关注三个参数模态表示维度、dropout、归一化方式。下面这个表格给出常见取值和影响参数常见取值影响模态表示维度 d128 / 256 / 512维度太小信息容量不够维度太大容易过拟合且训练变慢dropout0.1 / 0.3融合层 dropout 比单模态分类器更敏感0.3 常用于数据量小的 MOSI归一化LayerNorm / BatchNorm时间序列上 LayerNorm 效果更稳因为序列长度可变BatchNorm 对 batch 大小敏感这三个参数里模态维度要和输入特征匹配。官方 BERT 特征维度是 768OpenFace 是 47openSMILE 是 74不能直接 concat 进一个 128 维的注意力模块否则小维度的模态会被大维度淹没。我的做法是给每个模态接一个独立的Linear投影层先映射到统一 d 维再做后续融合。投影层的初始化用 Xavier偏置置 0这个细节对训练稳定性影响很大。另外很多多模态融合算法喜欢加门控机制来控制模态可信度比如给音频特征乘一个 0 到 1 的标量门控。这在有噪声的工业数据上有用但在干净的数据集上效果不明显容易变成额外调参负担。如果你第一次接触这类任务先不加门控等基线跑通后再试验门控收益。多模态融合算法真正难调的不是模型结构而是让不同模态的梯度更新幅度保持平衡所以后面训练部分会提到梯度裁剪和不同学习率策略。4. 多模态情感分析模型训练与评估用指标而不是“感觉”判断好坏4.1 数据集划分与标签处理MOSI 和 MOSEI 的标准协议多模态情感分析最常用的两个开源数据集是 CMU-MOSI 和 CMU-MOSEI。前者规模约 2199 个视频片段后者超过 23000 个都是 YouTube 单说话人评测视频。标准划分有两种一种是按视频分成 train/valid/test比例大约是 7:1:2另一种是官方提供的标准划分文件。很多论文会混用这两种划分导致结果不可比所以写实验时必须注明自己用的是哪一种。标签处理直接影响评估指标形态。MOSI 提供 -3 到 3 的连续情感分数常见三种处理方式二分类正负、五分类或七分类、回归。二分类时情感阈值取 0大于 0 为正小于等于 0 为负七分类时直接把分数 round 成整数。多分类任务通常报告 Acc-7 和 F1回归任务报告 MAE 和 Corr。注意多分类的随机基线是 1/7≈14.3%而二分类随机基线是 50%报结果时要说清楚任务设定否则 40% 的 Acc-7 看起来很低其实已经是有意义的模型。4.2 情感分析评估指标ACC-7、F1、MAE、Corr 怎么选如果你做的是情感分析不要只报准确率。MOSI 的类别不均衡现象很严重正向样本远多于负向ACC 会被主导类别带高。我一般同时报 F1 分数尤其注意负类的 F1因为负类样本少模型容易把所有样本都预测成正向。回归任务则看 MAE平均绝对误差和 Corr预测与真实情感的 Pearson 相关系数。MAE 衡量预测和真实之间的平均偏差Corr 衡量两者变化趋势是否一致。情感序列的相邻分数差异很小Corr 高说明模型抓住了相对强弱MAE 低说明绝对打分准两个指标要一起看在不在合理区间。还有一点容易被忽略指标要在同一验证集上多次运行取均值。多模态模型训练存在随机性单次结果可能偏差很大。我一般跑三次取平均和标准差写论文时给出mean ± std。如果两个模型差 0.5 个百分点的 Acc 且没有方差不可靠如果方差大于这个差值就要考虑是否模型收敛不稳定。评估代码要固定数据顺序关掉数据 shuffle 才能保证每次验证集一致。4.3 一个可复现的训练脚本骨架融合模型结构定了之后训练框架可以统一成下面这个骨架。它做三件事加载特征、定义模型、按 batch 训练并做验证。import torch import torch.nn as nn model MultimodalFusion(video_dim47, audio_dim74, text_dim768, d_model256) optimizer torch.optim.Adam(model.parameters(), lr2e-4, weight_decay1e-5) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30) def train_one_epoch(data_loader, model, optimizer, criterion): model.train() total_loss 0 for batch in data_loader: text, audio, video, label batch output model(text, audio, video) loss criterion(output, label) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() return total_loss / len(data_loader) # 训练 30 个 epoch每 5 个 epoch 做一次验证 for epoch in range(30): loss train_one_epoch(train_loader, model, optimizer, criterion) if epoch % 5 0: print(fepoch {epoch}: loss {loss:.4f})这段代码的要点有三处lr2e-4是注意力模型的常用初始学习率如果换用更大模型建议降到 1e-4clip_grad_norm_把梯度范数限制到 1.0防止音频和视频特征因为量纲大造成梯度爆炸CosineAnnealingLR在 30 个 epoch 内把学习率从 2e-4 降到接近 0比固定学习率更稳。损失函数criterion根据任务选择回归用MSELoss多分类用CrossEntropyLoss二分类用BCEWithLogitsLoss。最后一个容易被忽视的参数是 batch sizeMOSI 这类小数据集batch size 16 或 32 足够太大容易提前过拟合。5. 多模态情感分析的落地验证特征复用与单模态基线对比5.1 用特征复用把模型压到单卡可跑很多团队复现多模态融合论文时发现训练时间太长原因不是模型复杂而是每个 epoch 都重新提特征。如果你用的是官方特征数据加载只做 IO不需要重算。但如果你从视频文件直接抽视觉特征建议在训练前把特征全部预提取并缓存成.npy或内存映射文件。这样融合模型训练可以只用 CPU 跑GPU 只留给最后的精调。下面是一个简单的特征缓存思路features [] for video_path in video_list: feat extract_visual(video_path) features.append(feat) np.save(visual_features.npy, np.array(features))把特征提取从训练循环里剥离出来踩坑时也能更快定位问题如果模型结果不合理先看缓存特征是不是正常的而不是反复调模型结构。特征复用的另一个好处是方便做消融实验比如“只用文本特征”和“只用音频特征”的基线本质上只是换一个 dataloader。5.2 跨数据集验证从 MOSI 到 IEMOCAP 或 DEAP 的迁移测试如果你要在更强泛化性的任务上验证模型可以试试跨数据集测试。情感分析领域常用 IEMOCAP 做对话情感识别它的模态是文本、音频和视频标签是 categorical emotion和 MOSI 的连续分数不同直接把训练好的模型拿去预测会因标签空间不一致而失败。一个可行的做法是在目标数据集上只做线性探针linear probe冻结融合层之前的特征提取器重新训练分类头。如果做的是生理信号情感分析可以用 DEAP 数据集它包含 EEG 和外周生理信号标签也是连续 valence/arousal 分数。这个数据集的特征提取器完全不同通常要按脑电频段抽取功率谱密度再把多个电极的特征 reshape 成二维矩阵输入卷积网络。跨数据集验证的结论不是“我的模型准确率有多少”而是“预训练表示在多大程度上可迁移”。这个信息对论文和工程都有价值。5.3 诊断融合失败的一个小技巧单模态基线对比一个实用的诊断方法是训练三个单模态基线模型分别报告 Acc、F1、MAE。然后把融合模型结果和这三个基线比较如果融合模型连最好的单模态都打不过大概率是融合模块没有学到有效交互而只是把薄弱模态的噪声带进来了。很多多模态融合论文的图表里最值得看的不是最终准确率而是那一排单模态基线的柱状图它决定了融合收益是否真实。具体操作上我会写一个train_single_model.py参数里传--modality text/audio/video用同一套训练脚本训练三个基线。训练完成后计算融合模型相对最优基线的提升幅度。如果提升超过 2 个百分点说明融合是有效的如果不足回到特征对齐和融合参数上排查。最后一个常被忽视的原因是验证集泄露做特征归一化时如果用了全部数据的统计量跨模态的分布信息会泄漏到训练集导致指标虚高。做跨数据集验证时先按源领域训练归一化统计量再应用到目标领域这比任何花哨的融合头都更重要。本文还有配套的精品资源点击获取