简介这份资源围绕3D U-Net在三维医学图像分割中的应用展开面向医学影像处理方向的研究者、学生与算法从业者帮助其理解并复现基于CT、MRI等体数据的器官与病灶分割流程。压缩包共17个文件约9KB以4个Python脚本为核心涵盖模型定义、训练入口与nii、yaml等工具模块另有9个xml配置文件及iml、gitignore、txt、md等辅助文件可用于环境配置与项目说明。内容涉及三维卷积编解码结构、Dice或Jaccard损失、数据增强与后处理等关键环节并配有README与依赖清单便于快速搭建训练与验证环境。目前已有1149人学习下载适合希望从二维分割过渡到三维体数据实践、需要可运行代码骨架与排错参考的读者。1. 3D U-Net 医学图像分割源码包从体积数据到体素级掩膜拿到一个 CT 或 MRI 序列你面对的不是一张图而是一摞切片堆成的三维体积。二维分割模型逐片推理再堆叠层间连续性全靠运气Z 轴上的解剖结构经常被切得七零八落。3D U-Net 就是冲着这个问题来的——它把卷积、池化、上采样全部搬到三维空间让网络在体积上直接学习空间上下文。这次拆的3DUNET-simply_3dunet分割_3DU-Net_3dUnet_recordydn_医学图像分割源码包核心就是一份能跑通三维医学图像分割的训练框架包含train.py、model.py、utils工具集和requirements.txt依赖清单。它适合已经具备 PyTorch 基础、手头有 NIfTI 格式标注数据、想快速验证 3D U-Net 在自己数据集上表现的从业者。下面按「结构怎么搭 → 数据怎么喂 → 训练怎么调 → 坑怎么避」的顺序拆开讲。2. 3D U-Net 结构拆解编码器、解码器与跳跃连接的三维实现2.1 为什么必须是三维卷积而不是二维堆叠二维 U-Net 在医学图像分割里统治了很多年但它的根本假设是「切片之间独立」。实际 CT 数据层厚 1mm 到 5mm 不等病灶在相邻切片上的形态变化是连续的二维模型学不到这种连续性。3D U-Net 用Conv3d替代Conv2d卷积核在 D×H×W 三个方向上同时滑动感受野天然覆盖层间信息。代价也很直接参数量和显存占用大约按核尺寸的立方增长。一个kernel_size3的 3D 卷积参数量是同等通道数 2D 卷积的 3 倍左右。所以 3D U-Net 的通道基数通常比 2D 版本小常见做法是首层 16 或 32 通道起步而不是 64。源码包里model.py是结构定义的核心文件。我一般会先确认它用的是标准 3D U-Net 还是带残差连接的变体。标准结构长这样import torch import torch.nn as nn class ConvBlock3D(nn.Module): 3D U-Net 的基础卷积单元两次 3x3x3 卷积 BN ReLU def __init__(self, in_ch, out_ch): super().__init__() self.block nn.Sequential( nn.Conv3d(in_ch, out_ch, kernel_size3, padding1), nn.BatchNorm3d(out_ch), nn.ReLU(inplaceTrue), nn.Conv3d(out_ch, out_ch, kernel_size3, padding1), nn.BatchNorm3d(out_ch), nn.ReLU(inplaceTrue), ) def forward(self, x): return self.block(x)这段定义了两个连续的三维卷积每个卷积后面跟 BatchNorm 和 ReLU。padding1保证卷积后空间尺寸不变这样跳跃连接时编码器和解码器的特征图尺寸才能对齐。BatchNorm3d在三维数据上做归一化对医学图像这种强度分布差异大的输入尤其重要。2.2 编码器下采样与解码器上采样的对称设计编码器负责逐层提取语义特征每经过一个卷积块就用MaxPool3d(2)把空间尺寸减半、通道数翻倍。解码器反过来用ConvTranspose3d或插值上采样恢复空间分辨率再把编码器对应层的特征图拼接过来。class Down3D(nn.Module): 编码器下采样最大池化 卷积块 def __init__(self, in_ch, out_ch): super().__init__() self.pool nn.MaxPool3d(2) self.conv ConvBlock3D(in_ch, out_ch) def forward(self, x): return self.conv(self.pool(x)) class Up3D(nn.Module): 解码器上采样转置卷积 跳跃连接拼接 卷积块 def __init__(self, in_ch, out_ch): super().__init__() self.up nn.ConvTranspose3d(in_ch, out_ch, kernel_size2, stride2) self.conv ConvBlock3D(out_ch * 2, out_ch) # 拼接后通道翻倍 def forward(self, x, skip): x self.up(x) x torch.cat([x, skip], dim1) # 沿通道维拼接 return self.conv(x)Up3D里的torch.cat是 U-Net 的灵魂操作。编码器在浅层保留了大量空间细节解码器在深层拥有强语义信息跳跃连接把两者拼在一起让网络同时具备「看得准」和「看得懂」的能力。dim1是通道维度拼接后通道数翻倍所以后面的ConvBlock3D输入通道要写成out_ch * 2。注意如果输入体积的某个维度不是 16 的倍数经过 4 次下采样后尺寸可能变成奇数上采样时ConvTranspose3d的输出和跳跃连接的特征图尺寸会对不上。常见做法是在数据预处理阶段把体积裁剪或填充到 16 的倍数。2.3 输出层与损失函数的选择逻辑输出层通常是一个Conv3d把通道数降到类别数二分类就是 1多分类就是 N。激活函数二分类用 Sigmoid多分类用 Softmax。损失函数方面医学图像分割最头疼的是类别极度不平衡——病灶体素可能只占整个体积的百分之几。纯交叉熵在这种情况下会被背景体素主导模型倾向于全预测为背景。Dice Loss 直接优化预测掩膜和真实掩膜的重叠度对不平衡数据更鲁棒。实践中常见做法是Dice Loss CrossEntropy Loss加权组合比如0.5 * Dice 0.5 * CE。class DiceLoss(nn.Module): Dice 损失直接优化分割重叠度缓解类别不平衡 def __init__(self, smooth1e-6): super().__init__() self.smooth smooth def forward(self, pred, target): pred torch.sigmoid(pred) # 二分类输出转概率 pred pred.view(-1) target target.view(-1) intersection (pred * target).sum() dice (2. * intersection self.smooth) / (pred.sum() target.sum() self.smooth) return 1 - dicesmooth是防止分母为零的平滑项view(-1)把三维输出展平成一维向量再算全局 Dice。这个实现是「整批算一个 Dice」也有按样本分别算再平均的写法区别在于对难样本的权重不同。3. 数据管线搭建NIfTI 读取、归一化与三维 Patch 切分3.1 NIfTI 格式读取与强度归一化医学图像最常见的格式是 NIfTI.nii或.nii.gz源码包的utils/nii_utils.py就是干这个的。读取用nibabel核心就一行nib.load(path).get_fdata()。原始 CT 的 HU 值范围从 -1000 到 3000 不等直接喂给网络会导致梯度爆炸或收敛极慢。CT 数据常见做法是先做窗宽窗位裁剪比如腹部 CT 把 HU 限制在 [-100, 200]然后归一化到 [0, 1]。MRI 没有标准 HU 值通常按均值和标准差做 Z-Score 归一化。import nibabel as nib import numpy as np def load_nifti(path): 读取 NIfTI 文件并返回 numpy 数组 img nib.load(path) data img.get_fdata().astype(np.float32) return data def normalize_ct(volume, hu_min-100, hu_max200): CT 体积窗宽窗位裁剪 归一化到 [0,1] volume np.clip(volume, hu_min, hu_max) volume (volume - hu_min) / (hu_max - hu_min) return volume def normalize_mri(volume): MRI 体积 Z-Score 归一化 mean volume.mean() std volume.std() if std 1e-8: return volume - mean return (volume - mean) / stdnp.clip把超出窗宽窗位的值截断避免极端值影响归一化。MRI 的 Z-Score 里加了std 1e-8的保护防止全黑切片导致除零。3.2 三维 Patch 切分策略与正负样本平衡完整 CT 体积动辄 512×512×300直接塞进网络显存扛不住。标准做法是切 Patch。训练时随机采样固定大小的三维块比如 128×128×128 或 64×64×64推理时用滑窗加权重叠拼接。切 Patch 有个关键问题如果纯随机采样大部分 Patch 可能全是背景正样本比例极低。常见做法是「前景优先采样」——先定位所有包含病灶的体素坐标以这些坐标为中心采样一部分 Patch再随机采样一部分背景 Patch比例控制在 1:1 到 1:3 之间。def extract_patches(volume, label, patch_size(64, 64, 64), pos_ratio0.5, num_patches100): 前景优先的三维 Patch 采样 patches, labels [], [] fg_coords np.argwhere(label 0) # 前景体素坐标 num_pos int(num_patches * pos_ratio) num_neg num_patches - num_pos for _ in range(num_pos): if len(fg_coords) 0: break center fg_coords[np.random.randint(len(fg_coords))] patch, lbl crop_at_center(volume, label, center, patch_size) patches.append(patch) labels.append(lbl) for _ in range(num_neg): center [np.random.randint(0, s) for s in volume.shape] patch, lbl crop_at_center(volume, label, center, patch_size) patches.append(patch) labels.append(lbl) return np.stack(patches), np.stack(labels)pos_ratio0.5表示一半 Patch 以病灶为中心采样。crop_at_center是自定义裁剪函数需要处理边界情况——当中心点靠近体积边缘时Patch 会超出范围常见做法是镜像填充或直接跳过。3.3 DataLoader 与数据增强的工程实现PyTorch 的Dataset和DataLoader负责把上面的采样逻辑串起来。数据增强在三维场景下比二维更需要注意——旋转、缩放、弹性形变都要在三个方向上同步操作否则会破坏解剖结构的连续性。from torch.utils.data import Dataset, DataLoader import torch class MedicalVolumeDataset(Dataset): def __init__(self, volume, label, patch_size(64, 64, 64), num_patches200): self.patches, self.labels extract_patches( volume, label, patch_sizepatch_size, num_patchesnum_patches ) def __len__(self): return len(self.patches) def __getitem__(self, idx): x torch.from_numpy(self.patches[idx]).unsqueeze(0).float() # 加通道维 y torch.from_numpy(self.labels[idx]).unsqueeze(0).float() return x, y # 使用示例 dataset MedicalVolumeDataset(volume, label, num_patches200) loader DataLoader(dataset, batch_size2, shuffleTrue, num_workers4)unsqueeze(0)在通道维插入一个维度因为Conv3d期望输入形状是(N, C, D, H, W)。batch_size2是 3D 分割的常见起点显存够可以往上加。num_workers4加速数据加载但 Windows 下有时会有多进程问题设成 0 可以排查。4. 训练脚本配置与调参从 train.py 到收敛判据4.1 train.py 核心流程与超参数设置源码包的train.py是训练入口。典型流程是加载数据 → 实例化模型 → 定义损失和优化器 → 循环训练 → 验证 → 保存最优模型。import torch import torch.optim as optim from model import UNet3D from utils.nii_utils import load_nifti, normalize_ct # 超参数 LR 1e-4 EPOCHS 200 BATCH_SIZE 2 PATCH_SIZE (64, 64, 64) device torch.device(cuda if torch.cuda.is_available() else cpu) model UNet3D(in_ch1, out_ch1).to(device) optimizer optim.Adam(model.parameters(), lrLR, weight_decay1e-5) scheduler optim.lr_scheduler.ReduceLROnPlateau(optimizer, patience10, factor0.5) criterion DiceLoss() for epoch in range(EPOCHS): model.train() epoch_loss 0 for x, y in loader: x, y x.to(device), y.to(device) optimizer.zero_grad() pred model(x) loss criterion(pred, y) loss.backward() optimizer.step() epoch_loss loss.item() scheduler.step(epoch_loss) print(fEpoch {epoch1}, Loss: {epoch_loss:.4f})lr1e-4是 3D U-Net 的稳妥起点太大容易震荡太小收敛慢。weight_decay1e-5是轻量 L2 正则防止过拟合。ReduceLROnPlateau在损失不再下降时把学习率减半patience10表示连续 10 个 epoch 没改善才触发。4.2 学习率调度与早停策略固定学习率在 3D 分割里几乎不够用。前期需要较大学习率快速下降后期需要小学习率精细调整。除了ReduceLROnPlateauCosineAnnealingLR也是常见选择它按余弦曲线平滑衰减不需要手动设 patience。早停策略是另一道保险。验证集 Dice 连续 N 个 epoch 不提升就停止训练保存验证集上最优的模型权重。这个逻辑在train.py里通常用一个best_dice变量跟踪。best_dice 0.0 patience_counter 0 EARLY_STOP_PATIENCE 30 for epoch in range(EPOCHS): # ... 训练代码 ... val_dice evaluate(model, val_loader, device) if val_dice best_dice: best_dice val_dice torch.save(model.state_dict(), best_model.pth) patience_counter 0 else: patience_counter 1 if patience_counter EARLY_STOP_PATIENCE: print(fEarly stop at epoch {epoch1}) breakEARLY_STOP_PATIENCE30给模型足够的探索空间太小容易在损失还在波动时误停。4.3 显存不够时的降级方案3D U-Net 最常翻车的地方就是显存。CUDA out of memory一出来训练直接中断。按优先级排列的降级方案方案操作影响减小 Patch64³ → 32³空间上下文减少小病灶可能漏检减小 Batch2 → 1梯度噪声增大收敛可能变慢减少通道首层 32 → 16模型容量下降欠拟合风险混合精度torch.cuda.amp几乎无损显存省 30%-40%梯度累积累积 4 步等效 batch4训练变慢但等效 batch 增大混合精度是性价比最高的方案改动量小效果立竿见影scaler torch.cuda.amp.GradScaler() for x, y in loader: x, y x.to(device), y.to(device) optimizer.zero_grad() with torch.cuda.amp.autocast(): pred model(x) loss criterion(pred, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()autocast自动把部分运算降到 float16GradScaler防止梯度下溢。这套组合在 3D 分割里基本是标配。5. 避坑与排查3D U-Net 训练中最容易翻车的五个地方5.1 损失不下降Dice 一直在 0.1 以下现象训练几十个 epochloss 几乎不动验证集 Dice 极低。原因最常见的是归一化没做对。CT 的 HU 值没裁剪直接送进网络或者 MRI 用了 CT 的归一化方式。另一个可能是学习率太大梯度直接炸了。解决先打印输入数据的均值和方差确认在合理范围。CT 应该在 [0,1] 之间MRI 应该在均值 0 附近。然后检查学习率从 1e-5 开始试确认 loss 有下降趋势再往上调。5.2 验证集 Dice 很高但推理结果全是背景现象训练时验证 Dice 能到 0.8但拿新数据推理输出全是 0。原因数据泄露。训练集和验证集来自同一个病人的相邻切片模型记住了病人特征而不是病灶特征。换一个病人的数据就失效。解决按病人划分训练集和验证集而不是按切片随机划分。源码包里如果有split_by_patient之类的函数确认它被正确调用。5.3 显存溢出但 batch_size 已经降到 1现象batch_size1仍然 OOM但 GPU 显存看起来够。原因PyTorch 的缓存分配器会保留已释放的显存nvidia-smi显示的占用不等于实际可用。另外验证阶段的torch.no_grad()如果忘了加验证也会建计算图。解决验证循环包在with torch.no_grad():里。训练前调torch.cuda.empty_cache()。如果还不行用混合精度或减小 Patch 尺寸。5.4 上采样后尺寸对不上报错 size mismatch现象torch.cat时报错编码器特征图和上采样后的尺寸不一致。原因输入体积的某个维度不是 16 的倍数经过 4 次下采样后变成奇数上采样回来差 1 个像素。解决在 Dataset 里把体积裁剪或填充到 16 的倍数。常见做法是np.pad到最近的 16 倍数推理后再裁回来。5.5 训练 loss 震荡剧烈Dice 忽高忽低现象loss 曲线像心电图Dice 在 0.3 到 0.7 之间反复横跳。原因学习率太大或者 batch_size 太小导致梯度噪声大。另外Dice Loss 本身在预测和真实掩膜完全无重叠时梯度不稳定。解决降低学习率到 1e-5或者用Dice CE组合损失CE 提供稳定的梯度信号。增大 batch_size 或使用梯度累积也能平滑梯度。6. 推理与后处理滑窗拼接、连通域过滤与 Dice 验证训练完模型只是第一步推理阶段同样有讲究。完整体积推理不能直接整块送进网络要用滑窗加权重叠拼接。窗口大小和训练时的 Patch 一致步长通常设为窗口的 1/2 或 1/4重叠区域取平均或高斯加权。def sliding_window_inference(model, volume, patch_size(64,64,64), stride32): 滑窗推理重叠区域取平均 model.eval() D, H, W volume.shape output np.zeros_like(volume, dtypenp.float32) count np.zeros_like(volume, dtypenp.float32) with torch.no_grad(): for d in range(0, D - patch_size[0] 1, stride): for h in range(0, H - patch_size[1] 1, stride): for w in range(0, W - patch_size[2] 1, stride): patch volume[d:dpatch_size[0], h:hpatch_size[1], w:wpatch_size[2]] inp torch.from_numpy(patch).unsqueeze(0).unsqueeze(0).float().cuda() pred torch.sigmoid(model(inp)).squeeze().cpu().numpy() output[d:dpatch_size[0], h:hpatch_size[1], w:wpatch_size[2]] pred count[d:dpatch_size[0], h:hpatch_size[1], w:wpatch_size[2]] 1 output output / np.maximum(count, 1) # 避免除零 return outputstride32是 Patch 尺寸的一半保证重叠区域足够平滑。np.maximum(count, 1)防止边缘区域除零。推理完得到的是概率图需要二值化。阈值通常取 0.5但医学图像里常见做法是扫一遍 0.3 到 0.7 的阈值看哪个在验证集上 Dice 最高。二值化之后用连通域分析去掉小面积噪声——scipy.ndimage.label标记连通区域把体素数小于某个阈值的区域置零。from scipy import ndimage def postprocess(pred_mask, min_size100): 连通域过滤去掉小于 min_size 的孤立区域 labeled, num ndimage.label(pred_mask) for i in range(1, num 1): if (labeled i).sum() min_size: pred_mask[labeled i] 0 return pred_maskmin_size100是体素数阈值具体值取决于病灶的实际大小。太小去不掉噪声太大会把真实小病灶也删掉。我一般会先统计验证集上所有连通域的体素数分布取第 5 百分位数作为参考。验证 Dice 的时候有个细节容易忽略Dice 要在原始分辨率上算而不是在 Patch 上算。Patch 级别的 Dice 会被采样比例影响不能反映真实性能。另外如果有多类每一类分别算 Dice 再平均不要混在一起算。从那以后我每次跑完推理都会强制走一遍「滑窗拼接 → 阈值扫描 → 连通域过滤 → 原始分辨率 Dice」这个流程少一步都可能被假象骗过去。希望帮到你。本文还有配套的精品资源点击获取