简介这是一套基于CNN与LSTM融合模型的网络流量检测系统Python源码面向高校学生、毕业设计者及需要完成课程设计的开发者。源码由5个Python脚本和1份Markdown说明文档组成压缩包仅6KB结构紧凑涵盖数据预处理、模型构建、训练与测试等关键环节5个py文件分别承担数据加载、预处理、模型定义和主程序入口等职责md文档用于说明项目设计与使用方式。作者标注为评审98分的高分课设代码本地编译可运行适合学习CNN与LSTM在流量时序数据分类中的协同用法。目前已有132人浏览学习。通过源码可掌握从数据加载到模型评估的完整流程文档助读设计思路与参数设置项目难度适中适合作为深度学习课设、期末大作业或毕业设计的参考实现也能帮助快速搭建流量检测原型。1. 网络流量检测为什么值得用CNNLSTM做高分课设一个能跑、能写、能讲清的点如果你正在为课设选题发愁网络流量检测是一个几乎不会出错的赛道数据公开、问题定义清楚、能出图能出表而且用 CNNLSTM python 源码落地时模型效果一眼就能看出来答辩时也讲得明白。直观理解是CNN 擅长抓流量特征里的局部模式比如某个时间窗口内包长的突变、标志位的组合规律LSTM 擅长抓时序依赖比如攻击行为往往是一段持续变化的轨迹而不是一个孤立的包。两者串联起来正好覆盖了网络流量检测里最核心的“特征怎么提”和“时序怎么建模”两个问题。这套方案适合有 Python 和 PyTorch 基础、想在课设里同时展示深度学习和工程能力的同学也适合想快速验证一个检测系统原型的从业者。2. 把流量变成CNN和LSTM能吃的数据从pcap到滑动窗口张量2.1 数据集怎么选UNSW-NB15和CICIDS2017的取舍做网络流量检测课设数据集的第一个坎不是模型而是选哪份数据。常见做法是用 UNSW-NB15 或 CICIDS2017前者单条记录已经是特征向量适合快速起步后者提供原始 pcap能自己走一遍完整的特征提取流程答辩时加分。如果只是跑通 CNNLSTM 并拿到不错的准确率我一般建议先用 UNSW-NB15单条 CSV 读进来就是 49 维特征省去从 pcap 解析报文的大量精力。如果你想展示“从原始流量到检测结果”的全链路再上 CICIDS2017但必须接受它的文件体积和类不平衡问题。课设场景下时间是硬约束别在数据准备阶段耗尽精力。选数据时还注意一点不同数据集的攻击类型定义差异很大。UNSW-NB15 把流量分为 Normal、Fuzzers、Analysis、Backdoors、DoS、Exploits、Generic、Reconnaissance、Shellcode 和 Worms 十类你自己做二分类或选其中 3 到 5 类做多分类都可以。CICIDS2017 有 14 种攻击类别多且样本不均衡直接用全套会让 LSTM 的训练异常漫长。折中的做法是挑两到三类样本量较大的攻击做三分类既能讲清问题又不至于跑一晚上。2.2 特征提取怎么把一条流量会话变成一个固定维度的向量网络流量检测的核心问题是原始报文无法直接扔给 CNN 和 LSTM。常见做法是先把 pcap 按五元组源IP、目的IP、源端口、目的端口、协议聚合成流再对每条流提取统计特征包总数、字节总数、平均包长、包长标准差、持续时间、SYN/FIN/ACK 标志位数量、TCP 窗口大小均值等。这些特征组成一个向量代表一条流。如果你想更进一步把时序信息保留下来不要只取均值而是按时间窗口把流切成片段每个片段内计算上述统计量最后得到形状为时间步数特征维度的矩阵。这一步完成之后数据就从“网络报文”变成了“序列数据”LSTM 才能派上用场。用 UNSW-NB15 时数据集自带的 49 维特征里已经包含大量统计量比如 sttl源端到目的端的生存时间、smean源端发送的包平均大小、dload目的端负载字节速率。你不需要全部用上但也不能随便砍。我一般会保留协议相关字段、包长相关字段、标志位字段去掉 IP 地址、时间戳等与分类无关的字段最后剩下的维度大概在 35 到 42 之间。如果你用的是 pcap 原始数据特征工程要自己写工作量会显著增加课设阶段不建议从零开始。2.3 构造样本时间步长、重叠窗口和数据切分CNN 和 LSTM 吃的是张量输入形状一般是batch_size, seq_len, feature_dim。这里的 seq_len 是关键参数它决定了模型每次看到多长时间的流量行为。设太小模型看不到攻击的完整过程容易被短时噪声干扰设太大训练时间长而且很多正常流根本不够长。经验值是在 10 到 30 之间我一般先按 seq_len16 起步把每条长流切成多个重叠窗口重叠率取 50%这样既增加了样本量又保留了相邻窗口之间的过渡信息。切完之后窗口的标签沿用所在会话的标签这是后续最容易出错的地方后面避坑章会专门展开。数据切分时要注意不能按窗口随机划分训练集和测试集而要按会话划分。原因很直白同一个会话切出的几十个窗口高度相似如果它们被分到两个集合里模型相当于见过测试答案评估结果会虚高。正确做法是先按会话 ID 分组再按会话级别做分层切分一般 8:2 比较常见。顺序上先把所有会话 shuffle再取前 80% 的会话窗口做训练、后 20% 做测试。2.4 预处理代码归一化、重采样与label对齐数据预处理的代码不复杂但顺序有讲究。直接看下面这段这是从原始 CSV 构造训练张量的最小实现import numpy as np import pandas as pd from sklearn.preprocessing import StandardScaler, LabelEncoder df pd.read_csv(UNSW_NB15_training-set.csv, low_memoryFalse) # 1. 去掉与分类无关的字段IP、时间戳、ID 这类 drop_cols [id, srcip, dstip, srcport, dstport, stime, ltime] feat_cols [c for c in df.columns if c not in drop_cols [attack_cat, label]] # 2. 数值列做标准化注意用 fit 的统计量测试集只 transform scaler StandardScaler() X_norm scaler.fit_transform(df[feat_cols].fillna(0).values) # 3. 标签编码attack_cat 是多分类标签label 是二分类标签 encoder LabelEncoder() y encoder.fit_transform(df[attack_cat].fillna(Normal).values)逻辑说明先剔除地址、端口这类不携带攻击语义的字段再做标准化StandardScaler 会把每个特征变成均值为 0、方差为 1 的分布这对 CNN 和 LSTM 的训练稳定性很重要最后用 LabelEncoder 把字符串类别转成整数索引。这里特别提醒fillna(0) 不是万能药如果缺失比例超过 5%应该回头检查特征是否可用直接填 0 会让模型学到“缺失某种行为”的假规律反而不利于泛化。接下来是滑窗切分和会话级数据划分def build_windows(X, y, seq_len16, stride8): X_windows, y_windows [], [] # 假设数据已经按会话分组这里以会话为单位切分 for sess_id in np.unique(session_ids): idx np.where(session_ids sess_id)[0] for start in range(0, max(len(idx) - seq_len 1, 1), stride): end start seq_len seg X[idx[start:end]] # 长度不足 seq_len 的片段做 padding这里用 0 填充 if len(seg) seq_len: pad np.zeros((seq_len - len(seg), seg.shape[1])) seg np.vstack([seg, pad]) X_windows.append(seg) y_windows.append(y[idx[start]]) # 标签取片段首帧 return np.array(X_windows), np.array(y_windows)参数说明seq_len 是每个窗口的时间步数stride 是滑动步长。strideseq_len 时窗口之间没有重叠strideseq_len//2 时重叠一半。重叠率越高样本量越大但相邻样本越相似训练时要注意适当增大 dropout 来削弱过拟合。标签取片段首帧的标签前提是这一整个片段都属于同一个会话如果片段跨越了两个会话那就是数据构造错误这种样本会让模型学到大量噪声需要直接丢弃。构建完的 X_windows 形状是样本数16特征维度正好是 LSTM 和 Conv1D 的输入格式。3. CNNLSTM检测模型的PyTorch实现自己手写不用现成库3.1 网络结构怎么定Conv1D提取局部模式LSTM捕捉时序依赖网络流量检测里CNNLSTM 的经典结构是先让 Conv1D 在特征维度上做卷积提取局部关联模式再把卷积输出的序列交给 LSTM 做时序建模最后经过全连接层输出分类概率。为什么不用纯 CNN因为卷积核的视野是局部的它擅长发现“包长在连续几个窗口里异常增长”这样的短模式但难以直接建模“攻击行为会持续数秒乃至更长”的长期依赖。为什么不用纯 LSTM因为 LSTM 对输入特征的原始尺度敏感直接用高维原始特征训练不仅慢而且容易忽略局部特征组合。两个模型串联是互补关系。具体到结构参数我一般这样设计第一层 Conv1D 的核大小取 3意味着每次看相邻 3 个时间步的局部模式卷积核数量取 64输出后接 BatchNorm 和 ReLU然后是最大池化把时间维压缩一半再接一个双向 LSTMhidden_size 取 64num_layers 取 2配合 dropout 层防止过拟合最后把 LSTM 最后一个时间步的隐状态拉平过一层全连接直接映射到类别数。双向 LSTM 的意义在于流量行为前后的依赖常常是双向的比如某段突发流量之后紧接着的连接重置这也是判定攻击的重要信号。3.2 模型定义代码一个可以直接跑通的PyTorch实现下面给出一个完整可运行的模型定义已经处理好了 Conv1D 和 LSTM 之间的维度衔接import torch import torch.nn as nn class CNNLSTMClassifier(nn.Module): def __init__(self, input_dim, num_classes, seq_len16, conv_channels64, lstm_hidden64, num_layers2, dropout0.3): super().__init__() # 输入形状: (batch, seq_len, input_dim) # Conv1D 期望 (batch, channels, seq_len)所以先做维度置换 self.conv nn.Sequential( nn.Conv1d(in_channelsinput_dim, out_channelsconv_channels, kernel_size3, padding1), nn.BatchNorm1d(conv_channels), nn.ReLU(inplaceTrue), nn.MaxPool1d(kernel_size2, stride2) # 时间维减半 ) # 池化后序列长度约 seq_len // 2 lstm_input_size conv_channels self.lstm nn.LSTM( input_sizelstm_input_size, hidden_sizelstm_hidden, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0.0 ) # 双向 LSTM 的输出维度是 hidden_size * 2 self.classifier nn.Sequential( nn.Dropout(dropout), nn.Linear(lstm_hidden * 2, 64), nn.ReLU(inplaceTrue), nn.Linear(64, num_classes) ) def forward(self, x): # x: (batch, seq_len, input_dim) - (batch, input_dim, seq_len) x x.permute(0, 2, 1) x self.conv(x) # (batch, conv_channels, seq_len//2) x x.permute(0, 2, 1) # (batch, seq_len//2, conv_channels) out, _ self.lstm(x) # out: (batch, seq_len//2, hidden*2) out out[:, -1, :] # 取最后一个时间步 return self.classifier(out)逻辑说明permute 的两次调用是这类模型最容易写错的地方Conv1D 默认把通道维放在第二维而输入数据是batch, seq_len, feature_dim所以必须先用 permute 把特征维换到通道位置卷积池化之后再换回来给 LSTM。最后取 LSTM 最后一个时间步的输出来做分类虽然长度只有 seq_len//2但由于 Conv1D 的 padding 为 1信息没有丢失。代码里每个层的维度变化都写了注释照着跑一般不会出维度报错。参数说明input_dim 就是前面预处理得到的特征维度通常在 35 到 42 之间num_classes 是分类数二分类就是 2。conv_channels 控制卷积层抽取特征的宽度取 64 在课设数据量下足够lstm_hidden 取 64 兼顾表达能力和训练速度num_layers 取 2 能让模型抓到多层时序抽象但如果你的数据量少于几万条3 层以上几乎必然过拟合。dropout 设 0.3 是经验值如果你的训练准确率已经接近 100% 而验证集明显偏低优先把它提到 0.5。3.3 训练循环里容易被忽略的三个细节模型定义好了训练循环里最容易坑人的三个细节设备放置、loss 计算和梯度裁剪。设备放置就是 model、输入、标签都要 .to(device)经常有人只把模型放到 GPU 而忘了输入张量报错时一脸懵。loss 计算要注意标签的 dtypeCrossEntropyLoss 要求标签是 LongTensor不能是 FloatTensor。梯度裁剪是针对 LSTM 的专项操作RNN 系模型训练到后期容易梯度爆炸表现为 loss 突然变成 NaN解决办法是用 clip_grad_norm_ 把梯度模长限制在 5.0 以内。这三个细节不看一眼的话第一个 epoch 就能让你怀疑人生。除这三项之外还有一个容易忽略但影响最终分数的点LSTM 的权重初始化。PyTorch 默认初始化一般能跑但如果发现训练初期 loss 下降极慢可以手动对 LSTM 的权重做正交初始化这在流数据这类序列建模里经常能带来更稳定的收敛。不过课设阶段不需要在这上面花太多时间默认初始化加梯度裁剪通常已经够用。3.4 评估指标为什么用F1而不是只用accuracy网络流量数据集几乎都带类别不平衡UNSW-NB15 里 Normal 占比超过半数某些攻击类样本可能只有几百条。这时准确率是骗人的模型全预测为 Normal 也能拿到 50% 以上的准确率看起来很好看实际上一个攻击都没检出。正确做法是看 Precision、Recall 和 F1-Score尤其是每个类别的 F1 加权平均。Precision 衡量“检出的攻击里有多少是真的”Recall 衡量“真实攻击里有多少被找到了”F1 是两者的调和平均。答辩时如果能说清楚为什么不用准确率而用 F1已经比大多数只会跑模型的同学高出一截。评估代码一般这样写from sklearn.metrics import classification_report, f1_score model.eval() all_preds, all_labels [], [] with torch.no_grad(): for batch_x, batch_y in test_loader: batch_x batch_x.to(device) logits model(batch_x) preds torch.argmax(logits, dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(batch_y.numpy()) print(classification_report(all_labels, all_preds, digits4)) weighted_f1 f1_score(all_labels, all_preds, averageweighted) print(fWeighted F1: {weighted_f1:.4f})逻辑说明模型处在 eval 模式时Dropout 会被关闭BatchNorm 会使用累积的全局统计量这保证了推理结果的确定性。torch.no_grad 块避免计算梯度大幅度降低显存占用。classification_report 会按类别输出精确率、召回率和 F1以及整体准确率一眼就能看出哪些攻击类被模型严重漏检。4. 训练这个模型要调的关键参数把课设跑出理想分数4.1 learning rate怎么定1e-3起步配合ReduceLROnPlateauAdam 优化器在大多数流量检测任务上比 SGD 收敛更快初始学习率 1e-3 是一个稳妥起点。如果训练集样本量在 5 万条以下1e-3 可能偏高loss 会出现震荡这时降到 3e-4 通常能解决。一个更省心的做法是配合 ReduceLROnPlateau当验证集 F1 连续 3 个 epoch 不提升时把学习率缩小到原来的 0.5 倍。这个策略的好处是不用手动盯着 loss 曲线反复重启训练也不用在课设答辩前拿着学习率瞎试。需要注意学习率调度要基于验证集指标而不是训练集 loss否则模型已经过拟合了你还在降低学习率只会浪费训练轮次。4.2 序列长度与batch size显存不够时的应对方案seq_len 和 batch_size 是显存敏感参数。在 6GB 显存下seq_len16、hidden64 的模型batch_size 设 128 到 256 都算安全。如果跑的是双向 LSTM显存占用大约是单向的 1.5 倍到 2 倍batch_size 要相应缩减。显存不足的典型报错是 CUDA out of memory课设阶段很多同学第一反应是换更大的 GPU其实更快的办法是把 batch_size 减半同时把 DataLoader 的 num_workers 调到 4让 CPU 预加载数据。如果还是不够可以把 LSTM 层数从 2 降到 1精度损失通常在一个点以内。显存不是越满越好训练时留出 20% 余量可以避免偶发的 OOM 中断。4.3 正负样本不平衡直接改loss不如用WeightedRandomSampler流量检测的类不平衡问题很常见比如 DoS 攻击样本可能是普通的 10 倍以上。处理不平衡有两个层面一是修改损失函数比如给少数类更高的权重二是修改采样器让每个 batch 里各类样本的比例接近。常见做法是 WeightedRandomSampler它根据每个类别的样本数量倒数计算采样权重让少数类在训练时被更多次抽到直接效果是模型不再一边倒地偏向多数类。这里我建议优先用采样器而不是改 loss因为改 loss 权重需要额外调权重大小采样的意义更直观也更稳定。from torch.utils.data import DataLoader, WeightedRandomSampler import numpy as np # labels 是训练集的全部标签 unique, counts np.unique(labels, return_countsTrue) class_weights 1.0 / counts sample_weights class_weights[labels] sampler WeightedRandomSampler(sample_weights, num_sampleslen(labels), replacementTrue) train_loader DataLoader(train_dataset, batch_size128, samplersampler, num_workers4)参数说明class_weights 取每个类别样本数的倒数样本少的类权重高。WeightedRandomSampler 的 replacementTrue 表示允许重复采样相当于对少数类做了带放回的复制num_samples 设为原样本总数那么每个 epoch 的训练步数和原来一致。这种做法的缺点是少数类在单个 epoch 内被反复看到容易过拟合所以 dropout 要适当提高或者配合早停。评估时不要用采样后的分布必须在原始测试集上计算否则 F1 会虚高。4.4 训练脚本从数据加载到模型保存的完整流程把前面的要素整合成一段可运行的训练主流程注意每个关键位置的注释import torch import torch.nn as nn from torch.optim import Adam from torch.optim.lr_scheduler import ReduceLROnPlateau model CNNLSTMClassifier(input_dim42, num_classes10).to(device) criterion nn.CrossEntropyLoss() optimizer Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler ReduceLROnPlateau(optimizer, modemax, factor0.5, patience3) best_f1 0.0 for epoch in range(30): model.train() for batch_x, batch_y in train_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) optimizer.zero_grad() logits model(batch_x) loss criterion(logits, batch_y) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() # 验证并做学习率调度 val_f1 evaluate(model, val_loader, device) scheduler.step(val_f1) print(fEpoch {epoch1:02d}, loss{loss.item():.4f}, val_f1{val_f1:.4f}) if val_f1 best_f1: best_f1 val_f1 torch.save(model.state_dict(), best_cnnlstm.pt) print(saved best model)逻辑说明这里每轮训练完都做一次验证用验证集 F1 来驱动学习率衰减和模型保存。weight_decay1e-4 是 L2 正则能约束 LSTM 这类大参数模型clip_grad_norm_ 放在 optimizer.step 之前防止梯度爆炸。保存模型只存 state_dict 而不存整个模型对象加载时先构建同样的模型结构再 load_state_dict这是 PyTorch 的推荐做法也方便在预测脚本里复用。30 个 epoch 对课设来说足够配合早停不会浪费太多时间。5. 流量检测系统避坑5个让新手白折腾一晚的典型问题5.1 训练精度极高但测试精度暴跌标准化用了全局统计量现象训练集准确率接近 100%验证集和测试集却只有 60% 上下而且每次跑结果还不一样。原因对全部数据统一执行了 fit_transform包括测试集。标准化时计算出的均值和方差已经“见过”测试集相当于把测试集的分布信息偷给了训练过程。更隐蔽的是测试期间的统计量会跟随全量数据导致分布被重新调整破坏了训练时学到的尺度关系。解决在训练集上单独 fit再用同一个 scaler 去 transform 验证集和测试集。官方文档也是这个要求初学者很少注意这一步。可以理解为标准化器是模型的一部分它只允许学习训练集的经验。另外注意一点标准化应该放在数据切分之后如果用未切分数据直接 fit即便分集后再 transform均值方差里也已经混入了测试集的信息同样的泄露问题顺序反了依然会翻车。5.2 LSTM训练几轮后loss变成NaN现象前几个 epoch 正常第三个 epoch 开始 loss 突然变成 nan或者直接爆到几百。原因最常见的是学习率过大导致梯度爆炸其次是训练数据里存在极端值比如某个特征的数值达到 1e8 量级。数据经过标准化后极端值问题会缓解但 LSTM 的长链条反向传播会累积梯度在不该出现的地方放大。解决先加梯度裁剪clip 值设 5.0如果还炸把学习率从 1e-3 降到 1e-4。再检查数据打印一下每个特征列的最大值和最小值如果标准化后仍有超过 50 的绝对值说明原始数据里有离群点对它们做截断或删除。5.3 识别结果偏向多数类所有样本都被判成Normal现象测试集里攻击样本识别率极低所有输出都是 Normal整体准确率却不低。原因类别不平衡严重时模型发现“全都预测为 Normal”就能拿到很高的优化收益CrossEntropyLoss 默认情况下不会惩罚这种偷懒行为。这是流量检测里最常见的问题尤其是用 CICIDS2017 这种极不平衡的数据集时。解决使用 WeightedRandomSampler 强制每个 batch 里有接近比例的类别同时把评估指标从 accuracy 换成 weighted F1。改完采样器之后模型会对少数类更敏感但也要注意不要走向另一个极端——少数类精确率很高但召回率过低这种情况可以通过调低少数类权重或增加 dropout 来缓解。5.4 DataLoader返回的batch形状不对把序列维度丢了现象报错说期望输入是 3 维得到的却是 2 维或者模型能跑但训练 loss 完全不下降。原因Dataset 的getitem方法里如果返回的是一个形状为seq_len, feature_dim的 numpy 数组DataLoader 会默认把它当作一个整体样本处理但不小心 squeeze 掉了 seq_len 维。另一处常见错误是构建窗口时如果只有单条样本numpy 会自动丢弃第一维导致 batch 维度消失。解决在 Dataset 的getitem里显式返回 torch.from_numpy(x).float()并保证 x.shape 为seq_len, feature_dim。调试时可以打印一个 batch 的 shape 确认是batch_size, seq_len, feature_dim而不是batch_size, feature_dim。这个坑很小但每届都有同学卡在维度报错上。5.5 训练时间太长LSTM层数太多或seq_len过大现象一个 epoch 要跑十几分钟30 个 epoch 得等一个晚上想调参都没机会。原因LSTM 的时间复杂度与序列长度成正比双向 LSTM 又倍增计算量。seq_len32 加上 num_layers3 和双向课设数据量达到几十万窗口时训练时长会非常难看。解决先减少 num_layers 到 1 或 2再检查 seq_len 是否真的需要这么长。一般来说 seq_len16、stride8 已经能在多数数据集上取得不错的效果如果效果差异不大说明任务不需要那么长的时序依赖。还可以用 torch.cuda.amp 的 GradScaler 做混合精度训练只需要两三行改动训练速度提升明显。6. 验证闭环与课设文档写法混淆矩阵、特征可视化和结果论证模型训练完下一步是把“它能用”变成“论文和答辩里能证明”这一步值得单独打磨。先跑混淆矩阵它能直观展示哪些类别之间容易互相混淆比如 Fuzzers 被误判为 Generic说明这两个类别的流量特征分布高度重叠。这种观察写进课设文档里比“准确率 95%”有力得多因为它体现的是对数据的理解而不仅是调包能力。可视化的第二个建议是 t-SNE 降维。取测试集一部分样本用训练好的模型提取 LSTM 最后一层的输出特征再用 t-SNE 降到二维并散点绘制按真实类别着色。如果 CNNLSTM 确实学到了好特征你会看到同类样本聚成团、不同类之间有明显边界这比任何指标都直观。如果聚类效果很差说明模型学到的是浅层统计量而不是真正的攻击模式此时优先回头调数据而不是继续堆模型复杂度。文档说明书的核心结构一般包括系统架构图、数据处理流程、模型结构说明、实验结果表和分析。实验结果表不要只贴一个总体准确率按类别列出 Precision、Recall、F1并挑两个表现最好和最差的类别做简要分析。这一部分能拉开差距大多数课设只写“跑了模型得了多少分”而你会解释为什么某类识别率低、哪些特征不够、后续可以怎么改进这才是高分课设该有的样子。整个项目做完我最大的体会是CNNLSTM 这套结构本身并不神秘真正的难点在数据预处理和验证设计上。最开始我也踩过测试集泄露和类别不平衡两个大坑修完之后 F1 从 0.6 升到 0.91效果立竿见影。如果你正卡在某个环节按文章顺序从前到后排查一遍特别是标准化和采样器这两处多半能救回来。希望帮到你。本文还有配套的精品资源点击获取