文章目录你按Token付的钱根本不是机器的电费先说结论Token 是计价器不是电表算力这半边Token 确实和算力挂钩那我消耗 token 的时候是在用实时算力吗那为什么不能按实时算力收费第一层GPU 是共享的拆不清你用了多少第二层价格是摊销出来的不是测出来的三档价格恰恰暴露了计费不是电表那你真正该算的是哪笔账你按Token付的钱根本不是机器的电费打开大模型 API 账单的时候你脑子里有没有闪过一个念头这次生成了 1 万个 token就烧了对应这 1 万个 token 的算力这几百块钱就是那几千颗 GPU 转了一阵子的电费再加一点点利润。这个直觉听起来天经地义但它错得很根本。错在哪拆开说。先说结论Token 是计价器不是电表Token 跟算力的关系是真实的而且是强相关——但计费不是按你这次实际消耗了多少算力实时结算的。Token 是厂商造出来的一套换算单位把一整年的算力成本摊成一个个标准块卖给所有人。你付的钱反映的是厂商成本的摊销不是你这次调用的实时读数。打个比方打车。车确实在跑、实时把你送到这没错。但计价器算的不是这辆车这次烧了多少油、磨损了多少零件而是里程 × 单价。Token 就是那个里程的角色——一个计费代理单价是标准化摊出来的。车是实时的价格是标准化的。算力这半边Token 确实和算力挂钩先把有关系这半边说清楚它是对的。模型每生成一个 token都要做一次前向计算消耗的浮点运算量大致跟参数规模成正比粗略就是2 × 参数量每个 token 前向一次。所以同样生成 1000 个 token一个 70B 的模型挥霍的算力和一个 7B 的模型完全不是一个量级。Token 越堆越多模型越费电、越占卡——这根线是真实的。那我消耗 token 的时候是在用实时算力吗是也不是。是——模型确实在那一刻实时跑。你点下发送服务端真有 GPU 在工作模型在做前向计算一个 token 一个 token 地生成结果然后流式吐回来。你看到字一个一个蹦出来那就是实时计算的证据不是预录好的答案也不是什么缓存糊弄你。不是——算力不是你独占的。你发一个请求服务端不会专门腾出一台机器伺候你一个人。真实情况是成千上万个请求被打包进同一批矩阵运算一张 GPU 卡同时服务一堆人。你的 token 和别人的 token 在同一批里被算出来。所以准确的说法是算力是实时被消耗的但不是为你一个人消耗的是你这一单跟别人共享的。那为什么不能按实时算力收费既然算力确实在实时跑那账单为什么不能按你这单实际用了多少算力来算有两层原因一层是技术上做不到一层是商业上没必要。第一层GPU 是共享的拆不清你用了多少因为你的请求和别人的请求混在同一批计算里根本没法精确拆出你这一单用了多少 FLOPs、耗了多少电。就像地铁——你买了票上车车确实在实时跑但你没法说我这趟用了多少度电。车是为一整车人开的电费拆不到个人头上。第二层价格是摊销出来的不是测出来的就算技术上能拆厂商也不会这么定价。厂商定单价的逻辑是把一整年的总成本——买卡、建机房、电费、冷却、研发、折旧、利润——全部加起来再除以这一年预期能卖出去的 token 总量得到一个平均价。你这一单具体多占了半点算力、少占了半点算力账单纹丝不动。价格是摊出来的均价不是电表读出来的数。这也是打车那个类比的核心车在实时跑计价器在实时跳但计价器算的是里程 × 单价不是这次烧了多少油。Token 就是里程。三档价格恰恰暴露了计费不是电表如果真是按算力实时计费价格应该平滑只跟 token 数量成正比。可现实是三档价格差得很明显输入 token便宜。输入走 prefill可以一次性并行算完又快又省。输出 token贵。输出走 decode一个 token 一个 token 串行往外蹦还卡在显存带宽上并且直接决定你要等多久。它贵不是因为它更费机器而是因为它更占你的等待、更卡瓶颈。缓存命中更便宜。输入前缀命中缓存跳过重算的那段 prefill只付一点存储费。这说明价格在跟着是否真的重新算了走但给的仍是厂商的阶梯折扣价不是逐笔计量。到这里你可能会问既然缓存这么便宜为什么不把所有东西都缓存了因为缓存是有前提的——只有重复出现的前缀才能命中。你每次都发不一样的 prompt缓存就是空的。缓存省的是被反复重算的那部分不是全部算力。再退远看一个更大的背景模型价格这几年一路往下走各家还越来越趋同。如果真是成本加成、按算力实时结算价格应该跟着硬件成本走用不同硬件的厂商也该有差异。但现实是竞争在定价不是算力在定价。单价是市场摊出来的均价不是电表读出来的数。那你真正该算的是哪笔账前一篇说过【API Key 的真相Agent 的聪明全是按 token 租的】API Key 是租算力的会员卡。看了上面这些这句话还能再精确一点你租的不是某台机器的算力而是厂商算力池里的一个标准化额度。机器是共享的电费是摊薄的价格是市场定的。Token 就是算力和钱之间那个换算代理——它跟算力统计上相关计价却是摊销均价不是实时计量。所以下次再碰到一个 token 到底多少钱、成本是多少这种问题别去算单次调用用了多少 FLOPs。那条线算不出一个一致的答案因为厂商从来不按单次算力跟你结账。你真正该算的是另一笔账这个任务值不值这些 token以及怎么让重复被省掉。该缓存的开缓存该精简上下文的精简上下文别让同样的东西被一遍遍重算。这才是能把账单按下去的地方。顺手提一句这篇和讲【一个对话框能聊多久上下文是租金文件才是资产】那篇其实是同一件事的两面那边讲往窗口里塞的东西值多少钱这边讲按 token 标价的那把尺子本身是怎么来的。两个都清楚了账单就透明了。最后收一句话Token 不是电表是计价器——它量的不是你用了多少电而是你坐了多少公里。