AI训练做到一半发现算力烧完了或者模型还没跑起来先被显卡价格吓退——这两种情况我都遇到过。前两天一个朋友问我他准备微调一个7B模型看了一圈评测最后纠结在“跑分高但显存小”和“跑分中上但显存够大”两张卡之间问到底选哪个。我说你别看跑分你先算算你这轮训练要花多少钱。选GPU平台真正的决策锚点不是显卡跑分而是“训练达标”这件事本身要花多少钱。很多人选卡的第一反应是看Benchmark看TFLOPS、看CUDA核心数跑分高的就默认“性价比高”。但等你把数据集喂进去、把loss曲线拉出来你会发现跑分只是纸面上的“峰值性能”真正决定你钱包厚度的是单位训练成本、显存容量、带宽利用率、平台可用时长这些“跑分不显示”的指标。这篇不讨论具体某个云平台也不打算劝你买哪张卡而是把“AI训练选GPU”这件事拆成一张可以直接拿来算账的成本账本。1. 跑分高不等于训练快我来给你拆一下“有效算力”的缺口1.1 峰值FLOPs和真实MFU之间的“缺口”GPU厂商标的FP16算力比如4090的165 TFLOPS指的是“理论峰值FP16 Tensor Core算力”。这个数字在真实训练中几乎不可能跑满。业内有个词叫MFUModel FLOPs Utilization模型算力利用率衡量的是实际训练中模型的有效算力占硬件理论算力的比例。以我自己的实测经验在大多数单卡或小规模并行场景下MFU能到40%已经算调得不错了。也就是说一张165 TFLOPS的4090你在实际训练里能用的大概是66 TFLOPS左右。打个比方就像看发动机铭牌功率买车官方标200马力实际路上开综合路况能踩出来七八十就算路子熟了。跑分测的是理想条件下GPU的单项峰值能力但训练是一个全链路工作流中间有数据加载、预处理、梯度同步、checkpoint落盘、调度等待每个环节都会吃掉时间。任何一个环节出现瓶颈GPU就在那空转等待跑分再高也体现不出来。所以选型时真正要看的不是“这张卡跑分多少”而是“在这个任务里它能稳定输出多少有效算力”。1.2 显存容量与带宽比绝对算力更早卡住脖子的地方训练一个模型显存里要同时存放模型权重、优化器状态、梯度、中间激活值。参数规模越大优化器状态占比越高激活值则随batch size上升。以7B模型为例FP16权重约14GBAdamW优化器需要fp32主权重和fp32一阶、二阶动量占28GB梯度再占14GB光这些就已经56GB了。再加上激活值、通信缓冲、框架本身的开销一张24GB显存的卡跑7B全参数微调基本是不可能的只能走LoRA这类参数高效微调路线。所以“跑分高”解决不了“装不下”的问题。我见过不少朋友在选购时被测试分数冲昏头脑最后发现自己常用任务的显存需求其实先卡在那张高分卡上。选卡第一顺位永远是你的任务能不能塞进这张卡的显存。塞不进去跑分对你来说就是零。1.3 批量大小与显存吞吐为什么大模型训练感受不到理论算力另一个容易被忽略的是显存带宽。模型训练是典型的内存密集任务每次权重更新都要把整个模型读一遍。显存带宽不够算力再高也会被卡在“等数据”上。4090的显存带宽是1008GB/sA100 80G是2039GB/sH100 80G是3350GB/s。注意看H100的带宽是4090的3.3倍加上更大显存和更好的并行调度大模型训练的真实吞吐差距可能远超跑分数字体现的差距。一句话总结这一节跑分只是单项指标显存容量决定了你能不能跑显存带宽决定了你能跑多快MFU决定了你在跑的时候实际用了多少。这些才是训练成本的第一层。2. 训练的真实账单算清“花多少钱”而不只是“多少钱一张卡”2.1 总成本公式单位时间成本 × 训练时长 × 并行规模我习惯把一次训练任务的总成本拆成一个很简单的公式总成本 单卡单位时间成本 × 训练时长 × 并行卡数训练时长不是拍脑袋估的它有估算公式训练时长 ≈ 总计算量 /(单卡有效算力 × 并行卡数 × 有效利用率)。总计算量取决于模型参数量、训练token数、数据规模这是任务侧决定的。单卡有效算力、并行卡数、利用率是平台侧决定的。想省钱要么降低任务侧的总计算量要么提升平台侧的有效利用率要么把单位时间成本打下来。这里有一个反直觉的点单卡单位时间成本高的平台如果有效利用率高最终总成本可能反而更低。比如一张云GPU单价是自购卡的1.5倍但它调度稳定、显存性能完全发挥训练时间能缩短到原来的六成总账算下来还是划算的。这就是为什么不能只看“这张卡一小时多少钱”。2.2 个人/小团队最容易漏算的三笔账我自己踩过的坑总结下来漏算的主要集中在三块第一笔是数据准备和预处理的时间。数据清洗、去重、格式转换、tokenization看起来跟GPU没关系但GPU是按小时计费的数据没准备好卡开着也是空烧。我之前有一次忘了提前做tokenization结果400GB的数据到了平台上才现处理白烧了四个多小时A100的钱。第二笔是调试和实验试错的时间。超参调优、梯度爆炸排查、loss不下降的debug这些时间算下来通常占总训练时长的30%以上。很多云平台是按“实例创建到释放”计费你调代码、看日志、改配置的时候卡也在扣钱。第三笔是通信和存储费用。多卡训练时的节点间带宽有的平台按流量计费checkpoint存到对象存储也要按存储量收费。训练一跑每隔几轮保存一次几十GB的checkpoint从本地盘刷到持久化存储这笔钱很容易被忽略。2.3 从“尝试小时成本”到“训练任务达标成本”社区里常听到的“尝试小时成本”指的是花多少钱跑一次实验。这个指标适合对比不同平台的“试错成本”但不代表最终达成目标的成本。因为不同平台的调度效率、数据读取速度、多卡通信设计差异很大同样的实验在A平台可能跑1小时到B平台可能跑1.5小时。所以我更推荐用“训练任务达标成本”去做决策即从数据准备开始到模型收敛到目标指标为止整个过程的综合开销。这才是标题里说的“训练达标要花多少钱”。跑分高只说明单卡算力上限高达标成本才说明你在合理时间、合理预算内能不能真正把任务跑完。3. 自购显卡与云GPU平台的成本大账算一笔按“模型”而非按“小时”的对账3.1 自购整机的成本明细和折旧逻辑先看自购一条路线。自己组一台深度学习工作站主流配置大约是这样4090显卡约1.3万到1.6万搭配Xeon或i9 CPU、64GB或128GB内存、2TB NVMe固态、1500W电源整套下来不含卡也要七八千总预算在两万到两万五之间。这套机器理论算力很能打但要注意几个后续支出电费、散热、硬盘和电源老化、保修等。4090满载功耗450W整机满载600W上下每天跑8小时按工商业电价一元一度算一年电费接近1800元。加上机箱、风扇、CPU散热这些一年杂费两千往上。自购资产可以按3年折旧。一台两万五的机器折旧分摊到每天约23元加上每天用电成本一天的固定成本约30元。如果你的训练任务能在一天内跑完自购的平均成本反而不高但如果任务需要连续跑一周这台机器占用你一周的折旧加电费成本就明显上升了。3.2 云GPU平台的实际账单形态云GPU平台的计费方式通常分按量计费和包时/包月两种。按量计费4090约每小时2到3元A100约每小时10到20元H100更高包月则会在按量基础上打折。选云平台的核心优势是弹性任务来了开几台跑完释放闲时不产生费用。同样的任务一天跑完按量计费大约70元如果只需要周末跑两天一个月的开销也不到600元。但云平台也有隐性成本。机型和库存限制会导致高峰期租不到多卡训练需要租多机跨机通信如果走普通万兆性能远差于单机内NVLink训练时间会显著拉长。还有一些平台把“算力”和“存储”“带宽”分开计价依赖冷数据存储时费用会比想象中高。3.3 “一次性成本”陷阱什么时候自购比云平台便宜什么时候是错觉我见过不少朋友算自购便宜算法很简单买一台两万的机器跑一年肯定比租便宜。但这里有两个容易被忽略的问题。首先是利用率。自购机器只有在你使用的那几个小时才产生价值不用机器也是停在手边的沉没成本。而云平台是按“用多少付多少”来的即便单小时单价更高用1个小时只付1个小时。其次是升级风险。显卡更新换代快去年买的旗舰卡今年面对更大模型可能显存不够。云平台的算力可以随时换新自购只能再花钱升级。什么情况下自购确实划算任务长期持续、每天都要跑、任务类型固定、不需要扩展卡数这时候自购的边际成本几乎为零。如果只是偶尔实验、任务阶段性强、且训练规模经常变化那更应该按需租用。其实这个逻辑有点像买车和打车的选择每天通勤距离固定自己开更划算偶尔出门办事打车更省钱。GPU选型不过是把这个逻辑换到训练任务上。4. 按需求和阶段而不是按参数选择GPU平台4.1 按模型规模卡位从LoRA到全参数微调的选型档位我建议按“常用任务规模”来选而不是按“跑分最高”来选。这里列一个大概的档位表覆盖大多数个人开发者和中小企业任务类型模型规模推荐显存单卡推荐并行规模建议LoRA/前缀微调7B级24GBRTX 4090 / 云上4090单卡即可中等规模指令微调7B-13B48GB-80GBA6000 Ada / A100 80G1-2卡全参数微调13B-33B80GBA100 80G / H1002-4卡大规模预训练/密集微调33B以上多卡80GB显存池H100集群 / 云大规模集群8卡及以上这个表的逻辑很简单显存容量决定了任务的“可行性上限”算力决定的是“训练速度”。你的模型如果只需要LoRA没必要花大价钱上A100如果要做全参数微调24GB的卡就算跑分再好也是直接卡死在显存上限。4.2 按任务频次选择偶发任务 vs 持续迭代 vs 7x24服务除了模型规模任务频次也是核心决策变量。偶发任务比如一周跑一次实验包时和自购都不划算按量租最合适。持续迭代比如每天都在微调模型、测试新数据可以考虑包月云实例或自购一张中等配置卡。7x24小时在线推理服务对显存和稳定性要求极高自购机器要面对电费、网络稳定性、故障恢复等问题云服务配合自动扩容反而更省心。我自己的实践是个人实验用云上按量长时间跑一批数据时才考虑包月大规模团队协作则用平台级的算力资源池。这不是什么高深技巧而是把固定成本和可变成本分开管理。4.3 给团队和个人的硬指标排序建议选型的时候我建议按这个优先级去筛而不是上来就看跑分显存容量任务能不能装得下第一道门槛。显存带宽装下之后跑得快不快影响训练效率。多卡通信需要并行训练时节点间通信是不是瓶颈。单位时间成本和可用时长预算和时间计划是否匹配。生态兼容性CUDA、PyTorch版本、分布式框架是否顺畅。按照这个顺序筛基本能避开“跑分高但用不上”“显存够了但带宽窄”这些尴尬选择。5. 规避“看似省实则贵”的三个大坑5.1 坑一只比“卡单价”不比“集群可用性”云GPU平台有时候会放出很低价的“闲置算力”看起来很诱人。但低价往往伴随可用性风险机器可能随时被回收、资源紧张时排队几小时、实例规格不稳定。如果你在赶一个交付节点这种不确定性会直接转化成时间和金钱损失。经历过一次训练到一半实例被回收你就明白“稳定比便宜更省钱”。选平台时优先问自己我的任务允许多少次中断和等待如果不允许不要为低价冒险。5.2 坑二用消费级显卡做“长期重活”消费级显卡GeForce系列价位亲民但为游戏场景做了设计考量长时间压满负载时散热压力大且驱动对数据中心场景的优化不如专业级。偶尔实验可以持续数月7x24跑训练任务性能和寿命都会打折。如果业务已经有持续训练需求建议在云上租专业卡或一步到位买专业级卡成本表面高但故障率降低、寿命更长综合反而更划算。5.3 坑三忽略数据/存储/带宽等隐性成本训练任务不可能只依赖GPU本身。数据存储、加载、checkpoint保存、日志、模型导出、用户端访问都可能产生额外费用。自购机器要考虑硬盘扩容和备份云端要关注存储和流量计费。我建议在正式跑大规模训练前用小批次数据完整走一遍流程记录各项延迟和费用再估算全量任务总开销。这一步成本很低却能避免后期账单超标。6. 最后聊点实际的我常用的“三步选型法”说了这么多如果你还是有点懵直接套我常用的三步选型法去操作。第一步列出你的典型任务模型类型、参数量、数据量、期望训练时长。这些决定了显存和算力的底限。第二步基于底限算出你的需求带宽和并行预期筛掉装不下和跑不动的选项。第三步把候选项目列一个表格算单位时间成本、预计达标时长、预估总成本然后去掉最高的和最低的选中间那个“平衡点”——通常是最理性的选择。举个例子。一个常见的需求微调一个7B模型做垂直领域问答数据集5万条每条平均500 token期望两小时内跑完一轮epoch。按照我的经验用LoRA方案24GB显存的消费级卡或同级别云GPU就能跑。如果你坚持全参数微调那这张卡就跑不动直接跳到80GB显存的档位。预算有限时优先考虑云平台按量付费而不是为了偶尔的任务买一台高配机器。我在实际选择时就是这么操作的——先确定任务底线再对比“达标成本”中间踩过好几次“贪便宜选低价卡结果显存不够”和“跟风买高分卡结果根本用不满”的坑。这篇文章没有给你一个唯一的答案但希望你下次选GPU平台时能先算清楚“训练达标要花多少钱”再决定为跑分买单多少。