5分钟上手HeteroFusedKernels新手友好的快速入门指南【免费下载链接】HeteroFusedKernelsA heterogeneous hardware acceleration library focused on efficient KV cache transfer operators (H2D/D2H), designed for large model training and inference scenarios.项目地址: https://gitcode.com/openeuler/HeteroFusedKernels前往项目官网免费下载https://ar.openeuler.org/ar/想要在大模型训练和推理中实现高效的异构硬件加速吗HeteroFusedKernels正是你需要的解决方案这个专注于高效KV缓存传输算子H2D/D2H的异构硬件加速库专为大模型训练和推理场景设计。本文将带你快速了解如何开始使用这个强大的工具。 为什么选择HeteroFusedKernelsHeteroFusedKernels是一个针对大模型优化的异构硬件加速库它提供了三大核心模块Common模块- 提供设备可访问的主机内存管理和相关设备通信管理PCIEThrough模块- 提供PCIe传输优化的Ascend NPU算子OECCL模块- openEuler集体通信库这些模块协同工作为你的大模型应用提供无缝的硬件加速体验。 快速安装指南前置要求在开始之前请确保你的系统满足以下要求torch和torch_npuv2.5.1-v2.7.1CANN stack8.2.RC1Ascend driverv25.0.rc1.1硬件支持A2 910B, A3 910C安装步骤首先克隆仓库git clone https://gitcode.com/openeuler/HeteroFusedKernels cd HeteroFusedKernels1. 安装Common模块Common模块是其他模块的基础依赖cd common pip install -v --no-build-isolation -e . cd ..2. 安装PCIEThrough模块这个模块提供了零拷贝嵌入收集和KV缓存块传输功能cd pcieThrough pip install -v --no-build-isolation -e . cd ..3. 安装OECCL模块openEuler集体通信库cd oeccl python setup.py bdist_wheel pip install dist/oeccl-xxx.whl cd .. 核心功能快速上手内存管理基础Common模块提供了强大的内存管理功能。让我们看看如何分配NUMA感知的pinned张量from heterofusedkernels import memory torch.npu.set_device(0) # 分配NUMA感知的pinned张量 numberOfElements 400000 sizeOfElements 512 dtype torch.float16 total_size numberOfElements * sizeOfElements * dtype.itemsize pinnedTensor memory.alloc_numa_pinned_tensor(total_size) pinnedTensor pinnedTensor.view(dtype).view([numberOfElements, sizeOfElements]) # 获取设备指针 device_ptr memory.get_device_ptr(pinnedTensor.data_ptr())高效的嵌入收集PCIEThrough模块的gather操作符可以高效地从输入张量中收集特定行import pcie_through # 使用gather操作符 torch.ops.pcie_through.gather( embed, # 输入张量 embed_dst, # 输出张量必须在设备内存中 input_ids # 要收集的行索引 )KV缓存块传输对于大模型中的KV缓存传输HeteroFusedKernels提供了高效的解决方案# 无暂存缓冲区的KV传输 torch.ops.pcie_through.multi_layer_block_transfer( dstPtrs, # 指向设备HBM中KV缓存层的指针列表 srcBlock, # 主机内存中的KV缓存块 aivNum # 用于零拷贝传输的AIVector核心数可选 ) # 带暂存缓冲区的KV传输 torch.ops.pcie_through.fused_memcpy_multi_layer_block_transfer( device_block_ptr, # 设备块指针 host_block_cache, # 主机块缓存 staging_block_cache, # 暂存设备块缓存 aiv_blocks # AIVector块数可选 )集体通信优化OECCL模块提供了优化的集体通信操作from oeccl.ops import init_oeccl, oeccl_allgather, oeccl_cleanup, hccl_allgather # 初始化OECCL numa_map setup_numa_affinity() init_oeccl(hccl_comm, is_huge, ratio, numa_map, is_async) # 执行allgather操作 oeccl_allgather(output, input) 实际应用示例场景1大模型推理优化在大模型推理场景中KV缓存的传输是关键瓶颈。使用HeteroFusedKernels可以显著提升性能import torch import pcie_through from heterofusedkernels import memory # 准备KV缓存块 block_size 32 layers 40 heads 32 head_dim 128 # 分配主机注册的张量 total_size block_size * layers * heads * head_dim * 2 # float16 host_kv_cache memory.alloc_numa_pinned_tensor(total_size) host_kv_cache host_kv_cache.view(torch.float16).view([block_size, layers, heads, head_dim]) # 准备设备指针列表 device_ptrs torch.zeros(layers, dtypetorch.int64).npu() # 执行高效的KV传输 torch.ops.pcie_through.multi_layer_block_transfer(device_ptrs, host_kv_cache)场景2嵌入层优化对于需要频繁进行嵌入查找的应用import torch import pcie_through # 准备嵌入矩阵和目标张量 vocab_size 50000 embed_dim 1024 batch_size 128 # 创建嵌入矩阵可以在主机或设备上 embed_matrix torch.randn(vocab_size, embed_dim, dtypetorch.float16) embed_dst torch.zeros(batch_size, embed_dim, dtypetorch.float16).npu() # 输入ID input_ids torch.randint(0, vocab_size, (batch_size,)) # 执行高效的嵌入收集 torch.ops.pcie_through.gather(embed_matrix, embed_dst, input_ids) 常见问题解答Q1安装时遇到依赖问题怎么办确保你的系统满足所有前置要求特别是正确的torch和torch_npu版本。可以查看common/README.md中的兼容性表格。Q2如何验证安装是否成功运行测试脚本是验证安装的最佳方式cd pcieThrough/tests python test_gather.py python test_transfer_kernel.pyQ3性能调优有什么建议使用NUMA感知的内存分配以获得最佳性能根据硬件配置调整AIVector核心数合理选择是否使用暂存缓冲区 性能优势HeteroFusedKernels通过以下方式提供显著的性能提升零拷贝传输减少不必要的数据复制NUMA优化智能的内存分配策略硬件加速充分利用Ascend NPU的硬件特性批量处理高效的批量KV缓存传输 学习资源想要深入了解HeteroFusedKernels以下资源可以帮助你common/README.md - Common模块详细文档pcieThrough/README.md - PCIEThrough模块API参考oeccl/README.md - OECCL模块使用指南pcieThrough/tests/ - 丰富的测试示例 下一步行动现在你已经掌握了HeteroFusedKernels的基础知识是时候开始实践了从简单示例开始尝试运行测试目录中的示例代码集成到现有项目将HeteroFusedKernels的功能添加到你的大模型应用中性能测试对比使用前后的性能差异贡献代码如果你有改进建议欢迎参与项目贡献记住HeteroFusedKernels是一个持续发展的项目保持关注最新的更新和最佳实践。祝你在大模型加速的旅程中取得成功✨提示在实际生产环境中使用前建议在测试环境中充分验证功能和性能。【免费下载链接】HeteroFusedKernelsA heterogeneous hardware acceleration library focused on efficient KV cache transfer operators (H2D/D2H), designed for large model training and inference scenarios.项目地址: https://gitcode.com/openeuler/HeteroFusedKernels创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考