这次我们来看一个可能改变未来AI数据中心游戏规则的技术高通发布的H带宽计算架构。这不是一个软件项目而是一项底层的硬件架构创新直接瞄准了当前AI算力发展的核心瓶颈——内存墙。简单说它试图用一种全新的方式解决GPU在运行大模型时数据在内存和计算单元之间搬运太慢、太耗电的老大难问题。从已公布的信息看高通HBC架构的核心思路非常直接把计算单元直接“塞”到内存堆栈的下面通过极致的3D堆叠和近内存计算大幅缩短数据搬运的距离。其最引人注目的数据是在完整加速器级别下单位功耗带宽是当前主流HBM方案的6倍单位功耗存储容量是SRAM的200倍。这意味着在同样的电力消耗下数据吞吐能力能提升数倍这对于追求极致能效比的数据中心来说吸引力巨大。对于开发者、AI研究者和数据中心运维人员而言这项技术的落地意味着什么最直接的未来基于HBC架构的AI加速卡如计划中的AI250、AI300可能会在运行大语言模型推理、视频生成等内存带宽密集型任务时表现出更高的吞吐量和更低的延迟。虽然我们目前还无法在本地机器上“一键启动”来实测但理解其原理、技术路线和潜在影响对于把握未来硬件选型和架构趋势至关重要。本文将基于高通已公开的技术细节深入拆解HBC架构是什么、它如何挑战现有的HBM方案、其技术实现的关键点并探讨它对AI应用开发可能带来的变化。我们也会分析其适用场景、与现有生态的兼容性以及作为技术从业者我们现在可以做哪些准备来迎接这类新硬件。1. 核心能力速览首先我们通过一个表格快速了解高通HBC架构的核心技术指标和定位这有助于我们判断其技术价值和潜在影响。能力项说明架构名称高带宽计算架构发布方高通主要目标打破AI计算中的“内存墙”瓶颈提升内存带宽和能效核心技术3D堆叠、近内存计算、采用LPDDR作为存储介质对比基准HBM (高带宽内存)关键性能数据单位功耗带宽是HBM的6倍单位功耗存储容量是SRAM的200倍产品路线图HBC Gen1 (AI250加速器2027年样品)、HBC Gen2 (AI300加速器2028年)初期应用场景云端AI推理、数据中心加速生态合作微软Azure已确认部署当前状态已发布技术架构产品处于样品测试前阶段从表格可以看出HBC并非一个即插即用的软件工具而是一个需要芯片设计、制造、系统集成再到软件生态支持的完整硬件技术栈。它的价值将在未来的AI加速卡产品上体现。2. 什么是“内存墙”HBC要解决什么问题在深入HBC之前必须理解它要攻克的“内存墙”到底是什么。这对于任何关心AI模型性能的开发者都是一个基础概念。你可以把AI加速卡如GPU想象成一个高速运转的工厂。计算核心CUDA Core等是生产线上的工人非常能干显存HBM或GDDR是工厂的仓库存放着原材料模型参数和待处理的产品中间数据。问题在于仓库和生产线之间的距离太远通道内存总线虽然宽但搬运原材料和成品仍然成为了整个生产流程中最慢、最耗电的环节。这就是“内存墙”计算单元的速度增长远远快于内存带宽和延迟的改善速度导致强大的算力经常在“等数据”利用率上不去。尤其是在处理大语言模型LLM时模型参数动辄数百GB需要频繁地从显存中读取权重和写入中间结果内存带宽直接决定了推理的速度和能效。当前的主流方案HBM及其挑战高带宽通过将多个DRAM芯片堆叠并与GPU芯片通过硅中介层连接提供远超传统GDDR的带宽。高成本制造工艺复杂良率相对较低导致价格昂贵。容量限制单堆栈容量通常在32GB-64GB要获得更大容量需要多个堆栈进一步增加成本和设计复杂度。功耗与延迟虽然带宽高但存取数据本身的功耗和物理距离带来的延迟仍是瓶颈。位置固定HBM通常只能放置在GPU芯片的旁边2.5D封装而非“头顶”数据路径并非最短。高通HBC的思路可以理解为在仓库内存的每一层楼下直接开设小型加工车间近内存加速器。原材料数据不需要运到远处的主生产线在仓库内或仓库楼下就能完成一部分或全部加工极大减少了搬运距离、时间和能耗。3. HBC架构的技术拆解如何实现“近内存计算”HBC架构的实现依赖于几项关键技术的结合我们可以将其分解为几个层次来理解。3.1 存储介质选择为什么是LPDDR高通选择LPDDR作为HBC的存储介质这是一个关键且有趣的决定。LPDDR的优势低功耗顾名思义LPDDR专为移动设备设计天生具有优秀的能效比这与数据中心降低PUE能源使用效率的目标高度契合。易于堆叠LPDDR芯片更薄更适合进行3D堆叠封装为实现“计算单元在下存储在上”的结构提供了便利。单堆容量潜力大相较于HBMLPDDR在实现更大单堆内存容量方面可能有更好的成本优势和扩展性。生态成熟LPDDR产业链成熟规模大有助于未来降低成本和提高供应稳定性。与HBM的对比HBM追求极致的带宽密度而HBCLPDDR追求的是在足够高带宽下的最佳“带宽-功耗-容量-成本”综合平衡。高通押注的是通过架构创新近内存计算来弥补LPDDR峰值带宽可能不及HBM的短板同时在其他维度实现超越。3.2 3D集成工艺TSV与堆叠这是实现“近内存”的物理基础。高通采用了硅通孔技术。TSV就像在芯片内部打满了垂直的“微型电梯井”允许信号和电力在堆叠的芯片之间垂直传输速度极快延迟极低。堆叠结构根据描述HBC采用了将“专用近内存加速器”堆叠在“LPDDR存储堆栈”下方的结构。这意味着计算单元和存储单元是物理上紧密耦合的3D集成体而非HBM那样通过中介层并排连接。这种结构使得计算单元能够以极短的路径、极高的并行度访问上方存储堆栈中的数据。3.3 “近内存加速器”是什么这是HBC架构中的核心计算部件。它并非一个通用的CPU或GPU而很可能是针对AI推理特定操作如矩阵乘加、激活函数、数据搬运高度优化的专用硬件逻辑。专用化针对AI负载定制去除通用计算单元中不必要的部分进一步提升能效。分布化这些加速器可能以多个小单元的形式分布在整个存储堆栈的下方或之间实现真正的“存算一体”或“近存计算”而非一个集中的大计算芯片。3.4 系统级协同设计HBC不仅仅是一个芯片设计更涉及从芯片、封装、互联到系统软件编译器、驱动、运行时的全栈优化。高通强调的“全系统级协同设计”意味着需要新的软件栈来有效调度和管理这些分布在内存附近的计算资源让AI框架如PyTorch, TensorFlow能够高效利用这种新型异构计算能力。4. 性能数据解读与产品路线图高通公布的数据非常具体我们可以从中一窥其性能野心。性能对标vs HBM单位功耗带宽是HBM的6倍。这是最核心的指标意味着完成同样的AI推理任务假设HBM芯片消耗100瓦HBC可能只需消耗约16.7瓦就能提供相同的带宽或者在同功耗下提供6倍的数据吞吐量。这对于数据中心运营成本电费是巨大的节约。vs SRAM单位功耗存储容量是SRAM的200倍。SRAM速度快但密度低、成本高通常用作芯片上的高速缓存。这个对比说明HBC在提供大容量内存的同时能效远高于传统的缓存扩展思路。产品路线图HBC Gen1将搭载于AI250加速器。预计2027年年中启动商业化样品测试。其单卡内存读写速率达到了133TB/s。作为对比其有效带宽是高通前一代采用标准LPDDR5X的AI200加速器的18倍。这是一个跨越式的代际提升。HBC Gen2将配套AI300加速器于2028年推出。与AI200相比有效带宽最高可提升54倍每瓦带宽比HBM提升7倍。这显示了持续的快速迭代能力。微软Azure的背书行业顶级云服务商的早期采纳是新技术成功的关键信号。微软Azure确认部署表明HBC架构在真实数据中心场景下的可行性和价值已获得认可也为软件生态适配铺平了道路。5. HBC的适用场景与潜在影响HBC架构并非万能其设计有明确的针对性。最适合的场景AI推理尤其是云端大模型推理带宽密集型LLM推理是典型的“内存带宽受限”型任务。HBC的高带宽能效特性正好切中要害可以显著提升Tokens per Second每秒生成令牌数降低推理延迟和单次推理成本。能效敏感数据中心对功耗极其敏感HBC的低功耗特性直接转化为更低的运营支出和更小的碳足迹。批量处理虽然高通未明确提及但高带宽和低延迟同样有利于处理并发的推理请求提升服务器整体的吞吐量。可能受限的场景AI训练计算精度与灵活性训练过程需要更高的计算精度如FP16, BF16, FP32和复杂的优化器操作对计算单元的通用性和灵活性要求更高。专用的近内存加速器可能需要针对训练进行额外设计。生态成熟度训练框架的适配更为复杂。初期HBC可能会更专注于推理市场的突破。对开发者和研究者的影响硬件透明性理想情况下通过完善的驱动和框架支持开发者无需重写代码即可享受到HBC带来的性能提升。但这需要时间。新的优化维度未来为了极致性能可能需要对模型结构或算子进行微调以更好地利用近内存计算的特点例如优化数据局部性。成本结构变化如果HBC能大幅降低推理成本将促使更多AI服务从云端走向边缘或催生更复杂的AI应用。6. 与现有技术路线的对比除了挑战HBMHBC也处在一个更大的技术演进图景中。技术路线核心思路优势挑战代表厂商/技术HBM2.5D/3D堆叠高带宽内存与计算芯片并排带宽极高技术相对成熟成本高容量扩展难功耗高SK海力士、三星、AMD、NVIDIAHBC (高通)3D堆叠近内存计算计算单元置于LPDDR下方能效比高带宽/功耗比优容量潜力大新技术生态需建设专用化程度高高通存算一体直接在存储单元内完成计算彻底消除数据搬运能效潜力极大延迟极低工艺复杂精度和通用性挑战大尚在研发早期多家初创公司及学术机构CXL通过高速互联协议扩展内存池实现内存解耦与共享灵活扩展内存容量提升利用率延迟高于本地内存需要系统级支持Intel, 行业标准GDDR/GDDR6X传统显存通过提高频率和接口宽度提升带宽成本相对低设计简单带宽和能效落后于HBM发热量大NVIDIA (部分消费级GPU)高通HBC可以看作是介于传统“存算分离”如HBM和理想“存算一体”之间的一个务实且强大的过渡方案。它大幅缩短了存算距离但保留了独立的内存和计算单元在工程可实现性和性能提升之间取得了平衡。7. 面临的挑战与未来展望尽管前景广阔HBC架构的成功仍面临几大考验制造与良率3D堆叠芯片的制造工艺复杂TSV密度和良率控制是成本和生产规模的关键。软件生态这是最大的挑战之一。需要全新的编译器、驱动程序、运行时库以及主流AI框架PyTorch, TensorFlow, ONNX Runtime等的深度优化支持。高通的Adreno GPU移动生态经验能否顺利扩展到数据中心领域有待观察。市场接受度数据中心客户趋于保守。HBM经过多年发展已有成熟的供应链和验证体系。HBC作为新入局者需要证明其长期可靠性、可维护性和总体拥有成本的优势。竞争态势NVIDIA、AMD、Intel等巨头不会坐视不管。它们也在持续改进HBM技术如HBM3E, HBM4并探索其他存算架构。市场竞争将异常激烈。展望如果高通能如期在2027-2028年交付产品并兑现性能承诺HBC有望在AI推理市场撕开一道口子特别是在对成本和能效极度敏感的规模化推理场景如搜索引擎、推荐系统、内容审核。它可能不会完全取代HBM但会成为市场的一个重要补充和竞争者推动整个行业加速解决内存墙问题。8. 开发者当前可以关注什么虽然我们现在还无法直接编程或测试HBC硬件但可以提前布局一些相关的知识和技能深入理解AI工作负载特性分析你的模型是计算受限还是内存带宽受限。学习使用性能剖析工具如PyTorch Profiler、NVIDIA Nsight Systems定位模型推理时的瓶颈。理解“算术强度”这个概念。关注模型压缩与优化技术无论底层硬件如何精简的模型总是受益的。掌握量化、剪枝、知识蒸馏等技术减少模型对内存带宽和容量的需求。探索异构计算编程了解OpenCL、SYCL等面向异构计算的标准。虽然HBC会有自己的编程模型但理解如何将计算任务映射到不同的硬件单元是共通的。跟踪业界动态关注MLPerf Inference等基准测试榜单未来如果出现基于HBC硬件的成绩可以直观对比其性能。同时关注PyTorch、TensorFlow等框架对新型硬件的支持进展。架构思维在系统设计时考虑将计算向数据靠拢。例如在数据处理流水线中尽量减少不必要的数据序列化和反序列化、跨网络拷贝这与“近内存计算”的思想一脉相承。9. 总结高通HBC架构的发布是AI硬件领域一次重要的方向性尝试。它没有选择在HBM的老路上继续内卷而是通过架构创新将成熟的LPDDR与3D堆叠、近内存计算相结合直指内存墙问题的核心——数据搬运的能耗和延迟。其宣称的6倍于HBM的单位功耗带宽提升如果能在产品中实现将对AI推理的成本和能效产生革命性影响。对于广大AI应用开发者和企业而言这意味着未来有望以更低的成本获得更强的推理算力从而推动AI应用更广泛地落地。当然从架构发布到成熟产品广泛应用中间还有很长的路要走特别是软件生态的构建。但无论如何这种挑战现有格局的技术创新对于整个行业的进步是有益的。作为技术从业者保持关注、理解其原理、思考其影响是为未来技术变革做好准备的最好方式。当2027年HBC Gen1样品问世时我们或许将迎来AI硬件市场一个全新的选择。