Transformers 训练硬件指南GPU 供电、散热与多卡互联的工程实践【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers本指南聚焦于使用 Hugging Face Transformers 进行大模型训练/微调时的硬件基础设施选型与配置系统讲解三条扩充算力的路径更大 GPU、更多 GPU、CPU/NVMe 卸载并给出可落地的 GPU 供电接线规范、散热温度阈值、nvidia-smi topo -m互联拓扑诊断方法以及 NVLink 与 PCIe 桥接对 DDP/ZeRO 训练速度影响的可复现基准。读完本文你将能够诊断自己的多卡工作站拓扑、规避常见的电源/散热性能陷阱并借助仓库中的示例脚本复现互联带宽对训练耗时的影响。扩大算力的三条基本路径在 Transformers 中训练更大规模的语言模型时首先需要回答的问题是模型放不下 GPU 显存怎么办官方硬件指南给出了三条基本路径更大的 GPU——单卡显存与带宽直接决定单卡能承载的模型规模更多的 GPU——通过 DDP、ZeRO、张量并行等策略把模型与训练负载分散到多卡更多的 CPU 与 NVMe 卸载——把优化器状态、梯度甚至参数卸载到 CPU 内存或 NVMe 固态盘从而在显存受限时仍能训练超大模型。第三条路径在 Transformers 中主要由 DeepSpeed 的 ZeRO 卸载能力支撑。DeepSpeed 集成文档明确指出DeepSpeed 基于 ZeRO 提供多个 stage每个 stage 通过划分优化器状态、梯度、参数来逐步节省 GPU 显存并支持将数据卸载到 CPU 或 NVMe在 Transformers 中它与Trainer类深度集成大部分设置会自动完成。也就是说当单卡显存不足且预算不允许增加 GPU 时NVMe 卸载是一条实用的工程出路。在决定走哪条路径之前建议先了解单 GPU 场景下的供电与散热问题——它们是所有路径的公共前提。供电Power线材与电源的工程细节高端消费级 GPU 通常带有两个或三个 PCIe 8-pin 供电插座。硬件指南给出了明确的接线规范每个插座必须连接一根独立的 12V PCIe 8-pin 电源线不要把一根线末端分叉出来的两个接头俗称pigtail cable猪尾线同时插到 GPU 的两个插座上否则无法发挥显卡的全部性能每根 PCIe 8-pin 电源线应接到电源PSU侧的一个 12V 轨上单根线最多可提供150W功率部分显卡使用 PCIe 12-pin 连接器可提供500–600W低端显卡可能使用 PCIe 6-pin 连接器仅提供75W。此外电源本身必须具备两方面的能力其一输出稳定电压——电压不稳会在峰值负载时饿死GPU导致性能波动甚至掉电其二预留足够的未使用功率裕量以满足显卡瞬时峰值功耗。工程要点供电不足或劣质接线不会立刻报错但会表现为训练中途掉卡、性能异常波动或无法达到标称频率。装机时优先采用独立线材 高瓦数品牌 PSU是成本最低的稳定性投资。散热Cooling温度阈值与降频保护GPU 过热会触发降频throttling无法提供全性能温度过高时甚至会自动关机以保护硬件。硬件指南给出了如下参考温度区间最佳工作区间70–75°C华氏 158–167°F此时性能与寿命俱佳降频通常始于 84–90°C 附近华氏 183–194°F 以上长期处于极高温度不仅造成性能损失还会缩短 GPU 寿命。因此散热设计的目标是在满载训练高利用率、长时长场景下把核心温度稳定控制在 75°C 以下。这通常意味着需要良好的机箱风道、足够的散热器规模并关注环境温度。多卡互联Multi-GPU Connectivity决定训练总时长当使用多张 GPU 时卡与卡之间的互连方式会对总训练时长产生显著影响。第一步是诊断当前机器的拓扑结构运行nvidia-smi topo -m该命令会输出 GPU 之间的连接类型、CPU Affinity 与 NUMA Affinity 信息。两种典型拓扑解读NVLink 直连的机器例如双卡通过 NVLink 桥接输出类似GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X NV2 0-23 N/A GPU1 NV2 X 0-23 N/A其中NV2表示 GPU0 与 GPU1 通过2 条 NVLink连接。无 NVLink、走 PCIe 桥接的消费级机器输出类似GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X PHB 0-11 N/A GPU1 PHB X 0-11 N/A其中PHB表示两块卡经由PCIe Host Bridge典型为 CPU 侧的 PCIe 桥互联。拓扑符号图例Legendnvidia-smi topo -m输出的连接符号含义如下X Self自身 SYS Connection traversing PCIe as well as the SMP interconnect between NUMA nodes (e.g., QPI/UPI) NODE Connection traversing PCIe as well as the interconnect between PCIe Host Bridges within a NUMA node PHB Connection traversing PCIe as well as a PCIe Host Bridge (typically the CPU) PXB Connection traversing multiple PCIe bridges (without traversing the PCIe Host Bridge) PIX Connection traversing at most a single PCIe bridge NV# Connection traversing a bonded set of # NVLinks即X表示自身NV#表示由 # 条 NVLink 绑定组成的互连数值越大带宽越高PHB/PXB/PIX表示跨越不同程度 PCIe 桥的互连SYS/NODE表示跨 NUMA 节点互连。同代架构下NVX报告中的X越大互联带宽越高实际能达到的带宽还取决于 GPU 架构代际。互联速度的影响取决于并行策略互联带宽的重要性与所用**可扩展性方案scalability solution**强相关DDP分布式数据并行GPU 之间只需要在训练步末同步梯度通信频率低慢速互连如 PHB的影响相对不大ZeRO-DP 等策略训练过程中 GPU 需要频繁交换消息如分片参数的 all-gather、梯度的 reduce-scatter高速互连如 NVLink对提速至关重要。Transformers 的TrainingArguments也提供了ddp_backend参数见 training_args.py用于显式指定 DDP 的通信后端配合上述拓扑诊断结果选择更合适的分布式策略。NVLink 与训练加速实测23% 的性能差距NVLink 是 NVIDIA 开发的有线串行多通道近距通信链路每一代都提供更高的带宽。例如在 Ampere GA102 架构上第三代 NVLink 由 4 条 x4 链路组成每条链路单向带宽 14.0625 GB/s合计单向 56.25 GB/s、双向总计 112.5 GB/s。为了量化 NVLink 对 Transformers 训练的影响官方基准使用 gpt2 在 wikitext 小样本上对比了有无 NVLink 的 DDP 训练NVLink训练耗时Y启用101sN禁用131s结论启用 NVLink 后训练快约 23%。其中禁用 NVLink一档通过设置NCCL_P2P_DISABLE1强制 GPU 之间不走 P2P/NVLink 通道从而模拟慢速互连场景。完整基准复现命令硬件环境为2× TITAN RTX 24GB NVLink拓扑输出为NV2软件环境为pytorch-1.8-to-becuda-11.0/transformers4.3.0.dev0。复现命令如下基于仓库中的 run_clm.py 脚本# DDP w/ NVLink启用 NVLink rm -r /tmp/test-clm; CUDA_VISIBLE_DEVICES0,1 torchrun \ --nproc_per_node 2 examples/pytorch/language-modeling/run_clm.py --model_name_or_path openai-community/gpt2 \ --dataset_name wikitext --dataset_config_name wikitext-2-raw-v1 --do_train \ --output_dir /tmp/test-clm --per_device_train_batch_size 4 --max_steps 200 # 输出示例 {train_runtime: 101.9003, train_samples_per_second: 1.963, epoch: 0.69} # DDP w/o NVLink通过 NCCL_P2P_DISABLE1 禁用 NVLink rm -r /tmp/test-clm; CUDA_VISIBLE_DEVICES0,1 NCCL_P2P_DISABLE1 torchrun \ --nproc_per_node 2 examples/pytorch/language-modeling/run_clm.py --model_name_or_path openai-community/gpt2 \ --dataset_name wikitext --dataset_config_name wikitext-2-raw-v1 --do_train \ --output_dir /tmp/test-clm --per_device_train_batch_size 4 --max_steps 200 # 输出示例 {train_runtime: 131.4367, train_samples_per_second: 1.522, epoch: 0.69}关键参数说明--per_device_train_batch_size 4每张卡上的训练 batch 大小--max_steps 200固定训练步数保证两次实验的工作量一致从而公平对比耗时CUDA_VISIBLE_DEVICES0,1限定使用 0、1 号卡NCCL_P2P_DISABLE1禁用 NCCL 的 P2P 传输含 NVLink用于模拟无 NVLink 场景。注意事项上述基准是在特定硬件/软件组合TITAN RTX NV2、PyTorch 1.8 系 CUDA 11.0、transformers 4.3.0.dev0下测得的历史数据。在当前仓库版本中run_clm.py的接口与参数如--dataset_config_name、--max_steps仍然保留可直接复用但实际提速幅度会因 GPU 代际、NVLink 带宽、模型规模与并行策略不同而变化建议在自己的机器上以同样方式复现验证。与多卡训练策略的衔接互联拓扑诊断的意义最终要落到并行策略选型上。官方多 GPU 训练指南 perf_train_gpu_many.md 给出了与本文衔接的关键判断DDP通信量小对互联速度不敏感ZeRO是否更快取决于具体场景与配置其分片机制需要频繁的节点内通信TP/ZeRO 的取舍如果节点内互连非常快如 NVLink 或 NVSwitchDP/TP/PP/ZeRO 等多种组合的速度会趋近若没有高速互连PP流水线并行通常比 TP 或 ZeRO 更快最终应针对自己的拓扑与模型规模做实验以确定赢家策略。结语从硬件到策略的完整检查清单综合本文内容搭建/优化一套 Transformers 多卡训练环境时建议依次完成供电每张卡每个 8-pin 插座接独立 12V 线缆PSU 保证稳定电压与功率裕量散热满载时把 GPU 温度控制在 70–75°C远离 84–90°C 的降频区间拓扑诊断运行nvidia-smi topo -m确认NV#/PHB等互连类型策略匹配根据互连速度选择 DDP 或 ZeRO 等策略必要时通过NCCL_P2P_DISABLE之类的开关做对照实验量化验证用仓库中的 run_clm.py 等示例脚本跑固定步数基准用train_runtime对比不同配置的收益。通过这套流程你既能避免供电与散热带来的隐性性能损失也能基于实测数据而非猜测来选择多卡并行方案。【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考