1. 认识RDMA与perftest工具第一次接触RDMARemote Direct Memory Access技术时我被它绕过CPU直接访问内存的特性震撼到了。想象一下两台服务器传输数据就像在同一个主板上交换内存这种零拷贝、低延迟的特性正是高性能计算、分布式存储等场景梦寐以求的。而perftest就像是我们手中的精密测量仪能准确评估RDMA网络的带宽和延迟表现。perftest是Linux RDMA社区维护的一套基准测试工具集基于uVerbs接口开发。它包含十几个测试程序最常用的就是ib_send_bw带宽测试和ib_send_lat延迟测试。这些工具虽然命令行看起来简单但输出的数据对于调优网络性能至关重要。我见过不少团队在没做基准测试的情况下盲目调参结果反而导致性能下降30%以上。2. 环境准备与工具安装2.1 硬件配置检查在开始测试前先确认你的硬件支持RDMA。如果是Infiniband设备使用ibstat命令应该能看到设备信息如果是RoCERDMA over Converged Ethernet需要确保网卡支持并已启用。记得有次我花了半天时间调试最后发现是交换机没开启ECN显式拥塞通知导致RoCEv2性能异常。对于云环境用户主流云厂商现在都提供RDMA实例比如AWS的EFA、阿里云的eRDMA。但要注意不同机型支持的RDMA协议版本可能不同这会直接影响测试结果的上限值。2.2 软件安装指南安装perftest在Ubuntu上非常简单sudo apt update sudo apt install perftest如果想从源码编译最新版推荐git clone https://github.com/linux-rdma/perftest.git cd perftest ./autogen.sh ./configure make编译时常见的一个坑是缺少依赖库如果报错提示缺少ibverbs-dev记得先安装sudo apt install libibverbs-dev librdmacm-dev3. 带宽测试实战3.1 基础带宽测试带宽测试就像测量高速公路的车流量。在服务端运行ib_send_bw -d rxe_0客户端则执行ib_send_bw -d rxe_0 server_ip测试结果会显示类似这样的表格#bytes#iterationsBW peak[MB/sec]BW average[MB/sec]MsgRate[Mpps]6553610009812.349785.670.156这里有个实用技巧首次测试建议用默认参数然后逐步调整消息大小-s参数。我发现当消息大小超过L2缓存时带宽往往会突然下降这时就需要调整MTU值。3.2 高级参数调优通过调整QPQueue Pair数量可以提升并行性ib_send_bw -d rxe_0 -q 4如果想测试不同消息大小的表现可以用循环自动化测试for size in 64 128 256 512 1024 2048 4096; do ib_send_bw -d rxe_0 -s $size done记得记录每次测试的BW average值绘制成曲线图后你可能会发现类似阶梯状的性能变化这通常与网卡的DMA引擎设计有关。4. 延迟测试详解4.1 基础延迟测试延迟测试更像是测量快递从发货到收货的时间。服务端启动ib_send_lat -d rxe_0客户端测试ib_send_lat -d rxe_0 server_ip典型输出如下#bytest_avg[usec]t_stdev[usec]99% percentile[usec]642.310.122.89延迟测试最怕系统干扰。有次测试结果异常最后发现是服务器上的监控进程在定期扫描/proc文件系统。建议测试时关闭不必要的后台进程设置CPU为性能模式绑定测试进程到特定核4.2 低延迟优化技巧通过减小消息大小可以逼近硬件极限延迟ib_send_lat -d rxe_0 -s 1如果发现延迟忽高忽低可能是中断 coalescing导致的可以调整网卡参数ethtool -C eth0 rx-usecs 0在云环境中由于虚拟化层的影响延迟会比裸金属高20-30%。这时可以尝试启用SR-IOV或使用DPDK加速。5. 测试结果分析与常见问题5.1 关键指标解读带宽测试重点关注BW average是否接近理论值比如100Gbps网络的理论值是12.5GB/s。如果只有70-80%可能需要检查PCIe链路宽度或MTU设置。延迟测试t_avg应该稳定在微秒级。如果出现毫秒级延迟大概率是协议栈配置问题。5.2 典型问题排查性能不达预期检查ethtool -k eth0确认GRO/GSO是否关闭验证MTU设置是否一致建议用4200测试RoCEv2使用perf stat监控CPU利用率连接失败确认防火墙放行了对应的端口一般是18515检查子网划分是否正确RDMA通常要求同子网结果波动大禁用CPU节能模式使用taskset绑定CPU核心检查是否有其他网络流量干扰6. 生产环境实践建议在实际部署中我发现这些经验特别有价值定期基准测试硬件性能会随时间衰减建议每月跑一次perftest建立性能基线参数组合测试不同应用场景小包/大包需要不同的QP数量和消息大小监控关键指标不仅关注平均值更要监控99百分位延迟对于Kubernetes环境还需要特别注意使用RDMA设备插件正确暴露设备配置适当的CPU亲和性考虑使用Multus CNI实现多网络隔离