简介本资源是一套面向计算机安全与机器学习方向本科生的毕业设计实践项目聚焦加密恶意流量检测这一实际网络安全问题适用于毕设选题、课程设计或工程实训。项目基于CTU-13与DOH两类真实加密流量数据集完整实现从PCAP解析、相关性分析、Boruta特征选择到轻量化建模的全流程并通过Flask构建可视化Web界面辅助答辩展示。压缩包共218个文件25.73MB含165个日志文件记录流量解析与分析过程、14个HTML页面交互式可视化结果、6个CSV/NPY模型中间结果文件、8个JPG/PNG图表及4个核心Python脚本结构清晰、模块解耦便于理解特征工程与模型验证逻辑。已有563人学习下载提供开箱即用的数据缓存机制、明确的目录分工uploads/logs/data三级路径及可复现的端到端实验路径是深入掌握加密流量分析与机器学习落地的优质教学参考。1. 加密流量检测不是“解密”而是用特征工程绕过加密黑盒很多刚接触网络流量分析的同学会下意识认为要识别加密恶意流量就得先破解 TLS 或 DoH 的加密层。这是典型误区——现代加密协议如 TLS 1.3、DNS over HTTPS在设计上就杜绝了中间人解密的可行性。本项目不碰密钥、不尝试解密而是把加密流量当作“黑盒输入”通过提取其可观测行为特征如包长分布、时序间隔、TLS 握手指纹、DoH 请求频率等构建机器学习分类器完成恶意判定。它适用于 CTU-13传统僵尸网络流量和 DoHDNS over HTTPS 恶意隧道两类典型场景核心逻辑是加密不等于不可分析流量的“行为指纹”永远暴露在加密外壳之外。项目已预置清洗后的特征数据集doh_corr_features.csv、ctu13_boruta_features.csv和模型结果doh_boruta_model_result.csv可直接复现特征选择→建模→评估全流程特别适合毕业答辩前快速验证技术路线合理性也适合作为课程设计中“从原始 pcap 到可解释模型”的完整教学案例。2. 特征工程双路径相关性分析与 Boruta 特征选择协同降维2.1 相关性分析用皮尔逊系数定位强判别特征相关性分析是特征筛选的第一道过滤网目标是剔除与标签恶意/正常线性关联度极低的冗余字段。项目中show_data_ctu-13.html页面调用的ctu13_corr_features.csv文件本质是 CTU-13 数据集经pandas.DataFrame.corr(methodpearson)计算后按绝对值排序保留 top-k 的特征子集。该文件结构为三列feature_name、correlation、abs_correlation其中correlation值介于 -1 到 1正负号表示正/负相关方向绝对值越接近 1 表示与标签线性关系越强。例如若flow_duration的correlation -0.82说明恶意流量平均流持续时间显著短于正常流量而fwd_packet_length_std若为0.76则表明正向包长标准差是强正向判别指标。提示相关性分析仅捕获线性关系对非线性判别特征如包长序列的熵值、TLS 扩展字段组合敏感度低必须配合后续非线性特征选择方法。2.2 Boruta 特征选择基于随机森林的稳定性筛选Boruta 是一种包装式wrapper特征选择算法其核心思想是为每个原始特征生成一个“影子特征”shadow feature即对该特征值进行随机打乱然后将所有原始特征影子特征共同输入随机森林比较各特征重要性得分是否显著高于影子特征的最高分。项目中doh_boruta_features.csv和ctu13_boruta_features.csv即为 Boruta 运行后输出的最终入选特征列表每行包含feature_name、decisionAccepted/Rejected/Tentative、importance_mean重要性均值三列。执行该步骤需调用boruta_py库关键参数配置如下from boruta import BorutaPy from sklearn.ensemble import RandomForestClassifier rf RandomForestClassifier(n_estimators100, max_depth5, random_state42, n_jobs-1) boruta_selector BorutaPy( estimatorrf, n_estimatorsauto, # 自适应调整树数量 verbose2, # 输出详细日志便于调试 random_state42, # 保证结果可复现 max_iter100 # 最大迭代次数避免无限循环 ) boruta_selector.fit(X_train, y_train) # X_train: 特征矩阵, y_train: 标签向量max_iter100是关键安全阈值——CTU-13 数据集因样本量大超 10 万条流若设为默认10Boruta 常在收敛前终止导致大量真实有效特征被误判为Tentative而 DoH 数据集样本较少约 2 万条max_iter50已足够。verbose2输出的日志中Iteration X: 0 features confirmed, 5 features rejected这类信息需重点关注若连续 5 次迭代确认特征数为 0说明当前n_estimators或max_depth设置过小需增大以提升模型区分能力。2.3 特征轻量化从 89 维到 12 维的压缩实践原始 CTU-13 流量特征集含 89 个字段如total_fwpkts,min_seg_size,act_data_pkts等经 Boruta 筛选后仅保留 12 个Accepted特征。这一过程并非简单删除列而是重构数据管道缓存机制介入项目在app.py中设置lru_cache(maxsizeNone)装饰器缓存load_and_preprocess_data()函数结果避免每次页面刷新重复读取 CSV 并执行 Boruta路径硬编码切换摘要中明确说明“因时间原因直接使用 data 文件夹下预处理数据”对应代码中data_path os.path.join(data, ctu13_boruta_features.csv)而非动态拼接logs/下实时解析结果维度一致性校验模型加载时强制校验X_test.shape[1] 12若传入未筛选的 89 维数据会触发ValueError: X has 89 features, but RandomForestClassifier was trained with 12 features。此校验是防止特征工程与模型训练脱节的关键防线。特征名CTU-13 中含义DoH 中对应替代特征Boruta 决策flow_duration流持续时间毫秒doh_query_interval_meanDoH 查询平均间隔Acceptedfwd_packet_length_std正向包长标准差doh_payload_entropyDoH 载荷熵值Acceptedbwd_packet_length_max反向包最大长度doh_response_size_maxDoH 响应最大尺寸Acceptedsubflow_fwd_packets子流正向包数doh_queries_per_session单会话 DoH 查询数Accepted注意表中 DoH 替代特征并非原始 pcap 直出而是由pcap_parser.py中自定义规则提取——例如doh_payload_entropy通过scapy.layers.dns.DNS层解析 DoH POST 请求体计算 Base64 解码后二进制数据的 Shannon 熵该值对 C2 通信中加密载荷的随机性高度敏感。3. Web 可视化服务Flask 架构下的模块化路由与数据流控制3.1 路由设计CTU-13 与 DoH 模块的隔离式入口项目采用 Flask 实现 Web 服务核心路由分为/ctu13和/doh两个独立端点避免特征工程逻辑耦合。以/ctu13为例其视图函数ctu13_view()执行顺序严格遵循摘要所述四步app.route(/ctu13) def ctu13_view(): # Step 1: 数据展示 —— 读取预置 CSV 并渲染表格 df pd.read_csv(os.path.join(data, ctu13_boruta_features.csv)) table_html df.head(10).to_html(classestable table-striped, indexFalse) # Step 2: 相关性分析 —— 加载 corr_features.csv 并生成热力图 corr_df pd.read_csv(os.path.join(data, ctu13_corr_features.csv)) plt.figure(figsize(10, 8)) sns.heatmap(corr_df.set_index(feature_name)[[correlation]], annotTrue, cmapRdBu_r, center0) plt.savefig(static/ctu13_corr_heatmap.png, bbox_inchestight) # Step 3: Boruta 特征选择 —— 加载 boruta_features.csv 并统计决策分布 boruta_df pd.read_csv(os.path.join(data, ctu13_boruta_features.csv)) decision_counts boruta_df[decision].value_counts() # Step 4: 特征轻量化 —— 生成筛选后特征列表供模型加载 selected_features boruta_df[boruta_df[decision]Accepted][feature_name].tolist() return render_template(ctu13.html, table_htmltable_html, decision_countsdecision_counts.to_dict(), selected_featuresselected_features)render_template()传递的selected_features列表直接用于后续模型预测接口的feature_columns参数确保前端展示与后端推理使用同一特征集消除“训练-部署特征不一致”这一高发故障点。3.2 缓存策略永久缓存与手动失效的平衡项目在app.py中启用全局缓存from functools import lru_cache import os lru_cache(maxsizeNone) def load_ctu13_data(): return pd.read_csv(os.path.join(data, ctu13_boruta_features.csv)) # 在路由函数中调用 df load_ctu13_data() # 首次调用加载后续直接返回缓存对象maxsizeNone实现永久缓存但带来风险若手动修改data/下 CSV 文件Web 服务不会自动重载。解决方案是在开发阶段添加管理端点/clear_cacheapp.route(/clear_cache) def clear_cache(): load_ctu13_data.cache_clear() # 清除 CTU-13 缓存 load_doh_data.cache_clear() # 清除 DoH 缓存 return Cache cleared. Reload page to see updated data.该端点不暴露于生产环境仅用于调试阶段快速验证数据更新效果符合“按需修改”的摘要要求。3.3 数据路径安全uploads/logs/data 三级目录职责分离项目严格遵循“上传-解析-使用”三阶段路径隔离uploads/用户上传的原始.pcap文件存放目录权限设为chmod 750 uploads禁止 Web 服务器直接读取防止任意文件下载漏洞logs/pcap_parser.py解析后生成的中间文件如ctu13_20230101.log含原始流统计但摘要说明“因时间原因未启用”故当前逻辑跳过此目录data/预处理完成的特征 CSV 目录app.py中硬编码指向此处os.path.join(data, ...)调用确保路径安全避免../目录遍历攻击。提示若需启用实时解析应在pcap_parser.py中增加os.path.abspath()校验防止用户上传含../../../etc/passwd路径的恶意 pcap 名称。4. 模型结果验证从 CSV 到可解释性报告的闭环输出4.1 模型结果文件结构解析doh_boruta_model_result.csv与ctu13_boruta_model_result.csv是模型训练后的评估快照每行代表一次交叉验证折fold的结果共 5 列fold_id: 折编号0~4accuracy: 准确率precision: 精确率恶意样本中被正确识别的比例recall: 召回率所有恶意样本中被检出的比例f1_score: F1 值精确率与召回率的调和平均以 CTU-13 结果为例若fold_id2行数据为0.982, 0.965, 0.978, 0.971说明该折模型在恶意流量识别上召回率0.978略高于精确率0.965存在少量误报将正常流量判为恶意但整体 F1 达 0.971属工业级可用水平。项目未提供混淆矩阵 CSV但可通过sklearn.metrics.confusion_matrix快速补全from sklearn.metrics import confusion_matrix import numpy as np # 假设 y_true 和 y_pred 已获取 cm confusion_matrix(y_true, y_pred, labels[0, 1]) # 0: 正常, 1: 恶意 tn, fp, fn, tp cm.ravel() # 提取真负、假正、假负、真正 print(fTrue Negative: {tn}, False Positive: {fp}) print(fFalse Negative: {fn}, True Positive: {tp})tn/fp/fn/tp四值是优化模型的关键输入——若fn漏报过高需降低分类阈值或增强召回率导向的损失函数若fp误报过高则需提高阈值或引入代价敏感学习。4.2 特征重要性可视化SHAP 值生成可解释性报告项目虽未内置 SHAPShapley Additive Explanations模块但ctu13_boruta_model_result.csv中的importance_mean字段已为可解释性打下基础。实际部署中可扩展以下代码生成单样本解释图import shap from sklearn.ensemble import RandomForestClassifier # 加载已训练模型假设 model.pkl 存于 models/ 目录 model joblib.load(models/ctu13_rf_model.pkl) explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_test.iloc[0:1]) # 解释第一个测试样本 # 绘制瀑布图显示各特征对预测的贡献 shap.initjs() shap.plots.waterfall(shap_values[1][0], max_display10) # [1] 表示恶意类别该图直观显示若flow_duration特征值低于阈值贡献 2.3 分推动预测向恶意倾斜而bwd_packet_length_max值异常高则贡献 -1.8 分抑制恶意判定。这种粒度解释能直接回答答辩委员“为什么这个流量被判定为恶意”的核心问题远超单纯报告准确率数字的价值。4.3 毕业答辩演示技巧三页 PPT 覆盖技术纵深针对答辩场景建议将项目浓缩为三页 PPT第一页问题定义页左侧放一张 TLS 1.3 握手流程图标注“Encrypted Payload → Invisible to Deep Packet Inspection”右侧放项目架构图pcap → Scapy Parser → Feature Extractor → Boruta → RF Classifier → SHAP Explanation箭头旁标注“所有环节绕过解密”。第二页关键技术页表格对比 CTU-13 与 DoH 的 3 个核心差异维度CTU-13DoH流量形态TCP/UDP 明文指令加密载荷混合HTTP/2 over TLS 全加密关键特征flow_duration,fwd_iat_stddoh_query_interval_std,doh_response_size_entropyBoruta 收敛迭代87 次42 次第三页结果验证页并列两张 ROC 曲线图CTU-13 AUC0.992DoH AUC0.967曲线旁标注“CTU-13 恶意样本更易识别DoH 因协议同质化导致区分度下降”底部加一行小字“所有代码、数据、文档已开源路径/src/app.py,/data/,/docs/README.md”。此结构在 5 分钟内清晰传递“问题独特性-方法创新性-结果可信性”三层逻辑直击毕业设计评价核心。本文还有配套的精品资源点击获取