一个Token到底花了多少钱?从显卡到电力,大模型推理的全链路成本

发布时间:2026/7/7 7:19:07
一个Token到底花了多少钱?从显卡到电力,大模型推理的全链路成本 Token的成本构成到底什么最烧钱7月初的火山引擎Force大会上有个争议被摆到了台面上。“关键是不能只看单Token的价格要看单Token创造的价值。”没有具体数据所以我花了几天时间把Token成本的账翻了一遍翻完发现确实比你想象的要复杂——它的成本结构取决于你在什么规模上做、用什么架构做、在哪里做三个变量一变结论完全不同。先把账拆开咱们说的一个Token从模型到用户屏幕大致经过这几个环节GPU执行推理计算、服务器供电和散热、网络传输、机房基础设施、运维人力、模型本身的研发摊销。每项成本的占比在不同规模下差异大得离谱。人力是大头。8张卡雇一个工程师管人的成本可能比机器还贵。但如果同一个工程师能管128张卡比例就翻转了——硬件折旧占到81%电力升到10%人力降到了个位数。Token成本的最大变量不在GPU本身而在规模效应能不能把人力成本摊薄到可以忽略。推理效率同样的卡差距可以到一倍MiniMax在2025年前9个月API业务毛利率高达69%靠的不是涨价是把单张GPU的Token产出做到别人两倍。行业平均的推理MFU模型算力利用率大概在40-50%之间。MiniMax做到了75%以上。同样的H100别人的利用率是五折它是七五折单位Token的硬件摊销自然就低了。背后的技术手段包括MoE架构推理时只激活部分参数、多层注意力压缩减少KV缓存的显存占用、定制推理引擎等。电力被低估的地理变量GPU 折旧是沉没成本买完摊在那儿跑不跑都一样。电费是实打实的线性开销。一块 H100 一年电费在不同地区能差出两三倍美国商业电价大约每千瓦时 0.08 到 0.10 美元欧洲一些地区能到 0.15 美元以上国内各省的工业电价也参差不齐。这带来一个现实问题推理集群建在哪儿直接决定利润空间。UCloud 之前说过Token 降本的第一层答案不在算法而在把电力成本压下来、把 PUE 做下来。这个判断很实在。更现实的是电力正在变成硬约束。OpenAI、微软、Google 这些巨头每年投千亿美元级建数据中心但电网扩容没那么快。在电力紧张的地区拿到供电配额比买到 GPU 还让人头大。网络和带宽规模越大越疼GPU云平台上这部分成本通常已经打包。但如果你自建、或者数据需要跨区域传输出口流量是一个容易被忽略的开销。前面那个Llama 3.1案例里优化前AWS的出口和网络费用ALB、NAT网关、8TB出站每月7,500【单位$】占总成本的19%。优化后他们直接切到了网络出口免费的GPU云平台这块成本归零。对API提供方来说网络成本摊到每Token上确实不算什么。但对自建推理服务的团队如果数据量上去、用户分散在不同地域CDN和出口流量费就不是小数目了。模型研发摊销大头但难算以上算的都是运行一个已有模型的成本。模型本身的研发——训练算力、数据采购、标注、研究团队薪酬——是另一笔巨账。GPT-4级别的模型单次训练成本从数千万到上亿美元不等这些要通过Token定价摊销回来。但摊销方式差异巨大有的厂商把训练成本当沉没成本API定价只覆盖推理的边际成本比如DeepSeek的低价策略有的厂商则通过高定价逐步回收研发投入比如智谱GLM-5在2026年2月提价输入从0.6涨到1.0/百万Token涨幅67%单位$。这一项到底占每Token成本的多少没人公布过具体数字。但从不同厂商的定价策略差异可以反推——训练成本摊销在厂商之间的分配意愿完全不一样。愿意靠生态补贴的摊销摊得少需要独立盈利的定价里藏的摊销比例更高。站在2026年7月的时间点看答案取决于你是谁和路径不同。Token成本这件事目前没有什么标准构成比例。它更像一面镜子照出的是厂商的架构能力、规模阶段、商业化策略——你在镜子里看到什么取决于你站在什么位置。