简介本资源为基于半监督深度学习的木马流量检测项目完整源码包面向网络安全与深度学习方向的学生、研究人员及工程实践者帮助解决恶意流量识别中标注样本稀缺、模型训练与部署链路不完整的问题。包内共193个文件以Python脚本、编译缓存、TensorFlow模型检查点及索引文件为主另含XML配置、docx说明文档、mat数据与少量工具可执行文件压缩包约134.9MB。项目围绕USTC-TFC2016数据集展开涵盖Benign正常流量与Malware木马流量并提供从pcap切分、会话提取、会话处理、图像转换到MNIST格式生成的完整预处理流程配套PcapToMnist目录与PowerShell、Python脚本便于复现数据管线。同时附带训练好的模型权重与checkpoint文件可直接用于推理或继续训练。目前已有191人学习下载适合希望快速搭建木马流量检测实验环境、理解半监督深度学习落地流程的读者参考。1. 木马流量检测为什么值得用半监督深度学习重做一遍木马流量检测这个方向传统做法有两类一类是靠 Snort、Suricata 这类规则引擎匹配特征串另一类是拿标注好的黑白样本训一个监督分类器。规则引擎的问题是变种一改端口、一加密就失效监督分类器的问题更现实——你手上永远只有几百条确认的木马流量剩下几十万条会话没人标。半监督深度学习正好卡在这个缺口上用少量标注样本定方向用大量未标注流量学分布最后让模型自己把藏在正常业务流量里的木马会话挑出来。这套「Python 基于半监督深度学习的木马流量检测项目源代码模型使用说明」的组合适合两类人一是做安全运营、想给现有 IDS 加一层智能判别的工程师二是做流量分析、手上有 pcap 但缺标注的学生和研究者。它不要求你从零训一个 GPT一台带显卡的普通机器就能跑通。下面我按「数据怎么来 → 模型怎么搭 → 怎么训 → 怎么避坑 → 怎么验证」的顺序把能抄作业的部分全写出来。2. 数据准备从 pcap 到模型能吃的特征矩阵2.1 木马流量的会话切分与标注策略半监督的第一步不是搭模型是把 pcap 切成会话。木马流量的特点是长连接、心跳包规律、上下行字节数不对称所以切分粒度建议按「五元组 时间窗口」做而不是简单按包切。常见做法是用 CICFlowMeter 或自己写脚本把每个会话聚合成一条流记录字段包括源目 IP、端口、协议、持续时间、包数、字节数、包间隔均值/方差等。标注策略上我一般会留三档确认木马正样本、确认正常负样本、未标注占 80% 以上。确认木马可以从威胁情报平台或沙箱行为日志里捞确认正常从内网业务流量里抽。未标注部分不要人工看直接丢给模型做一致性正则。import pandas as pd from sklearn.preprocessing import StandardScaler # 读取会话级流记录假设已由 CICFlowMeter 生成 df pd.read_csv(sessions.csv) # 标注列1木马0正常-1未标注 labeled df[df[label] ! -1].copy() unlabeled df[df[label] -1].copy() # 特征列去掉 IP、端口等标识字段避免模型记住特定主机 feature_cols [c for c in df.columns if c not in [label, src_ip, dst_ip, src_port, dst_port]] scaler StandardScaler() X_labeled scaler.fit_transform(labeled[feature_cols]) X_unlabeled scaler.transform(unlabeled[feature_cols]) y_labeled labeled[label].values print(f标注样本 {X_labeled.shape}未标注样本 {X_unlabeled.shape})这段代码的关键在feature_cols的取舍IP 和端口必须去掉否则模型会学到「某个 IP 就是木马」这种伪规律换一个网络就翻车。StandardScaler只在标注集上 fit再 transform 未标注集防止未标注数据的分布泄漏到归一化参数里。参数上label列的 -1 是约定俗成的未标注标记你也可以用 NaN但后续要统一处理。2.2 特征工程里最容易被忽略的四个量流记录字段很多但真正对木马检测有用的往往就那几个。我踩过的坑是一开始把几十个特征全塞进去结果模型在训练集上 AUC 0.99测试集掉到 0.6。后来砍到四类核心特征才稳住特征类别具体字段为什么重要时序规律包间隔均值、方差、心跳周期木马心跳包间隔高度规律正常业务波动大字节不对称上行/下行字节比C2 通道通常上行小、下行大或反之连接持续性持续时间、包数/秒长连接低速率是木马典型模式协议行为端口熵、TLS 握手特征非标准端口 自签名证书要警惕这四类之外的特征不是没用而是容易引入噪声。半监督模型对噪声比监督模型更敏感因为未标注样本的伪标签一旦被噪声带偏一致性正则会把错误放大。所以特征宁少勿滥先跑通再逐步加。2.3 把数据切成半监督能用的三份半监督训练需要三份数据标注训练集、未标注集、验证集。注意验证集必须从标注样本里切不能混入未标注数据否则你没法算准确率。常见比例是标注样本 6:2:2 切训练/验证/测试未标注集全部进训练。from sklearn.model_selection import train_test_split X_train, X_temp, y_train, y_temp train_test_split( X_labeled, y_labeled, test_size0.4, stratifyy_labeled, random_state42 ) X_val, X_test, y_val, y_test train_test_split( X_temp, y_temp, test_size0.5, stratifyy_temp, random_state42 ) # 未标注集只参与训练不参与验证 print(f训练 {X_train.shape}验证 {X_val.shape}测试 {X_test.shape})stratify保证切分后正负比例一致木马样本本来就少不 stratify 可能验证集里一个正样本都没有。random_state固定住方便复现。未标注集不切验证是因为它没有真实标签拿它算指标等于自欺欺人。3. 模型搭建半监督深度网络的结构与损失设计3.1 为什么选一致性正则而不是伪标签硬训半监督深度学习有几条路线伪标签、一致性正则、对比学习、生成模型。木马流量检测这个场景我推荐一致性正则为主、伪标签为辅。原因是伪标签硬训对初始模型要求高如果第一轮伪标签错太多后面越训越偏一致性正则则是对同一个未标注样本加不同扰动要求模型输出一致容错性更好。具体到网络结构用一维卷积加全连接就够不需要 Transformer。流量特征是表格型一维卷积能抓局部时序模式全连接做非线性映射。输入维度就是特征数输出二分类。import torch import torch.nn as nn class TrafficNet(nn.Module): def __init__(self, input_dim): super().__init__() self.encoder nn.Sequential( nn.Linear(input_dim, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Dropout(0.3), nn.Linear(128, 64), nn.BatchNorm1d(64), nn.ReLU(), ) self.classifier nn.Linear(64, 2) def forward(self, x): z self.encoder(x) return self.classifier(z), zforward返回两个值分类 logits 和编码向量。编码向量后面做一致性损失用。Dropout(0.3)是扰动来源之一训练时两次前向传播 dropout 掩码不同输出自然有差异一致性损失就惩罚这种差异。BatchNorm1d在小批量下要小心如果 batch size 小于 8 建议换 LayerNorm。3.2 损失函数监督项加一致性项的权重怎么定总损失是监督交叉熵加一致性均方误差权重 λ 控制未标注数据的影响。λ 太小未标注白用λ 太大模型被未标注噪声带跑。我一般从 0.1 开始试逐步加到 1.0观察验证集 F1 变化。def consistency_loss(logits1, logits2): # 对两个扰动版本的输出做均方误差 p1 torch.softmax(logits1, dim1) p2 torch.softmax(logits2, dim1) return torch.mean((p1 - p2) ** 2) # 训练循环核心片段 sup_loss nn.CrossEntropyLoss()(logits_l, y_l) unsup_logits1, _ model(x_u) unsup_logits2, _ model(x_u) # dropout 不同输出不同 unsup_loss consistency_loss(unsup_logits1, unsup_logits2) total_loss sup_loss lam * unsup_loss注意未标注样本要前向两次且模型处于 train 模式dropout 才生效。如果模型在 eval 模式两次输出完全一样一致性损失恒为 0等于没加。λ 的调节建议配合验证集早停验证 F1 连续 5 轮不升就停。3.3 训练参数与显存控制木马流量数据量通常不大几万到几十万条流记录全连接网络参数量小显存不是瓶颈。真正要调的是学习率、batch size 和 λ。学习率用 1e-3 配 Adambatch size 128 或 256太大梯度噪声小反而不利于一致性正则。optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, patience3, factor0.5) for epoch in range(100): model.train() # ... 训练步骤 ... val_f1 evaluate(model, X_val, y_val) scheduler.step(val_f1) if early_stop(val_f1): breakweight_decay1e-4防过拟合木马样本少时尤其重要。ReduceLROnPlateau在验证指标不升时降学习率比固定步长衰减更稳。早停耐心值设 5 到 10 轮别设 2半监督训练前期波动大太早停会错过后面的提升。4. 避坑与排查半监督木马检测的五个血泪教训4.1 未标注集里混入大量木马导致虚警飙升现象训练时验证集 F1 很高上线后正常业务流量被大量误报。原因未标注集是从全量流量里随机抽的里面其实混了不少没被发现的木马模型把它们当正常样本学决策边界被拉偏。解决未标注集抽样时做一次粗筛用规则引擎或简单阈值把明显可疑的会话剔掉或者用孤立森林先过滤异常点再进半监督训练。4.2 特征归一化在训练集和推理时不一致现象离线测试 AUC 0.95部署后同一批流量预测结果全乱。原因训练时用StandardScaler在标注集上 fit推理时忘了加载同一个 scaler或者用了新数据的均值方差。解决把 scaler 和模型一起保存推理时先 transform 再送模型。代码里用joblib.dump(scaler, scaler.pkl)加载时严格对应。4.3 一致性损失权重过大导致模型输出坍缩现象训练几十轮后模型对所有样本都预测同一类准确率等于多数类占比。原因λ 设得太大一致性损失主导优化模型发现把所有输出压成常数能让一致性损失为 0。解决λ 从 0.1 起步监控未标注样本的预测熵熵骤降说明在坍缩立刻降 λ 或加监督项权重。4.4 会话切分超时参数设错导致木马被切碎现象木马流量明明在 pcap 里特征提取后却找不到对应会话。原因CICFlowMeter 默认流超时 120 秒木马心跳间隔如果超过这个值一个长连接被切成多条短流时序特征全丢。解决把流超时调到 600 秒以上或者对同一五元组的流做合并再重新计算时序统计量。4.5 验证集和测试集来自同一时间段导致指标虚高现象测试集 F1 0.98换一天的数据掉到 0.7。原因流量数据有时间相关性同一天的样本分布相似随机切分会让验证集和测试集泄漏。解决按时间切分用前 70% 时间的数据训练后 30% 测试。如果数据跨天按天切确保测试集是模型没见过的时段。5. 验证与进阶让半监督模型真正能上线的两个技巧5.1 用混淆矩阵和 PR 曲线代替准确率做验收木马检测是典型的不平衡分类准确率没有意义。验收要看召回率和精确率的权衡。我一般要求召回率不低于 0.9精确率不低于 0.85具体阈值看业务能承受多少误报。画 PR 曲线比 ROC 曲线更敏感因为负样本太多时 ROC 会虚高。from sklearn.metrics import precision_recall_curve, auc model.eval() with torch.no_grad(): logits, _ model(torch.FloatTensor(X_test)) probs torch.softmax(logits, dim1)[:, 1].numpy() precision, recall, thresholds precision_recall_curve(y_test, probs) pr_auc auc(recall, precision) print(fPR-AUC: {pr_auc:.4f}) # 找满足召回率0.9的最高精确率阈值 import numpy as np idx np.where(recall 0.9)[0] best_threshold thresholds[idx[0]] if len(idx) 0 else 0.5 print(f推荐阈值: {best_threshold:.4f})这段代码输出 PR-AUC 和推荐阈值。阈值不要固定 0.5按业务召回要求反推。thresholds长度比 precision 少 1索引时注意对齐。5.2 在线更新用新流量做无标注自适应模型上线后流量分布会漂移。半监督的好处是可以拿新来的未标注流量做自适应不用重新标注。做法是固定编码器只微调分类头用一致性损失在新数据上跑几轮。学习率设小一点1e-4 量级防止把原有知识冲掉。# 在线自适应只更新分类头 for param in model.encoder.parameters(): param.requires_grad False optimizer_adapt torch.optim.Adam(model.classifier.parameters(), lr1e-4) # 用新流量未标注数据跑一致性损失跑 3-5 轮即可这个技巧的关键是冻结编码器。编码器学的是通用流量表征分类头学的是当前任务的决策边界分布漂移主要影响决策边界。冻结编码器能防止小样本自适应把表征带偏。跑几轮就停别一直跑否则模型会慢慢过拟合到新数据的噪声上。我自己做这类项目的习惯是每次上线前必跑一遍时间切分的测试集PR-AUC 掉超过 5 个点就回滚。半监督模型看着省标注但调参和验证的功夫一点不比监督模型少别被「半监督」三个字骗了。希望帮到你。本文还有配套的精品资源点击获取