从新手到老手：机器人手眼标定（眼在手上/外）的5个实战避坑指南
2026/6/3 3:30:01
鲲鹏920在统信UOS上的RDMA性能深度评测与实战指南
在国产化技术快速发展的今天，鲲鹏920处理器搭配统信UOS操作系统的组合已经成为许多企业级应用的首选方案。RDMA（远程直接内存访问）技术作为高性能计算和分布式存储的核心组件，其性能表现直接关系到整个系统的效率。本文将带您深入探索如何在鲲鹏920平台上进行全面的RDMA性能测试，从环境准备到结果分析，手把手教您掌握每一个关键步骤。
1. 测试环境搭建与前期准备
1.1 硬件配置检查
在开始RDMA性能测试前，确保您的硬件环境符合以下要求：
- 服务器型号：两台搭载鲲鹏920处理器的服务器
- 网卡配置：至少配备两个支持RDMA的25G以太网卡
- 连接介质：建议使用与网卡速率匹配的光模块（25G），避免因速率不匹配导致性能瓶颈
注意：实际测试中发现，即使使用25G网卡，如果光模块仅支持10G速率，链路会自动降速至10G，这将显著影响RDMA性能表现。
1.2 软件环境配置
统信UOS作为国产操作系统的代表，其对RDMA的支持程度直接影响测试的顺利进行。请确认以下软件信息：
# 查看系统内核版本 uname -a # 预期输出示例：4.19.90-2305.1.0.0199.56.9.uel20.aarch64 # 检查RDMA相关驱动是否加载 lsmod | grep hns # 应能看到hns_roce等相关模块1.3 网络拓扑连接
正确的物理连接是测试成功的基础：
- 确认两台服务器通过支持RDMA的网卡直连
- 检查链路状态是否正常（链路速率、物理连接）
- 为测试网卡配置静态IP地址，避免DHCP带来的不确定性
# 设置静态IP示例（以hns_2网卡为例） nmcli con mod "hns_2" ipv4.addresses 192.168.104.10/24 nmcli con mod "hns_2" ipv4.method manual nmcli con up "hns_2"2. RDMA测试工具链详解
2.1 必备工具安装
在统信UOS上，通常已经预装了基础的RDMA测试工具包。如果缺失，可通过以下命令安装：
# 安装perftest工具包 sudo apt install perftest安装完成后，您将获得以下关键测试工具：
ib_send_bw：测试发送带宽ib_read_bw：测试读取带宽ib_write_bw：测试写入带宽ibv_rc_pingpong：测试延迟
2.2 工具参数深度解析
以最常用的ib_send_bw为例，其核心参数包括：
| 参数 | 说明 | 推荐值 |
|---|---|---|
| -d | 指定RDMA设备 | 如hns_2 |
| -x | 使用SRQ（共享接收队列） | 0/1 |
| -q | 队列对数量 | 1-8 |
| -c | 连接类型 | RC/UC |
| -m | 最大MTU大小 | 1024/2048/4096 |
| -a | 显示所有统计信息 | 无参数 |
2.3 测试模式选择
根据不同的应用场景，RDMA测试可分为三种基本模式：
- 单向测试：一端作为服务器，另一端作为客户端
- 双向测试：同时测试两个方向的带宽
- 多QP测试：使用多个队列对提高并发性能
提示：初次测试建议从简单的单向单QP测试开始，逐步增加复杂度。
3. 全面性能测试实战
3.1 发送带宽测试（Send BW）
发送带宽是衡量RDMA性能的基础指标，执行步骤如下：
服务器端启动命令：
ib_send_bw -d hns_2客户端连接命令：
ib_send_bw -d hns_2 192.168.104.10测试结果关键指标解读：
- BW average：平均带宽，本例中达到1165.17MB/s
- MsgRate：消息速率，0.018643Mpps（百万包每秒）
- 峰值带宽：1165.18MB/s，接近理论最大值
3.2 读取带宽测试（Read BW）
读取操作在分布式存储场景中尤为重要：
# 服务器端 ib_read_bw -d hns_2 # 客户端 ib_read_bw -d hns_2 192.168.104.20典型输出分析：
#bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps] 65536 1000 1165.18 1165.13 0.018642值得注意的是输出中的提示信息："Device not recognized to implement inline feature. Disabling it"，这表明设备不支持某些高级特性，但对基本性能影响有限。
3.3 写入带宽测试（Write BW）
写入性能对数据库类应用至关重要：
# 服务器端 ib_write_bw -d hns_2 # 客户端 ib_write_bw -d hns_2 192.168.104.20在5000次迭代测试中，写入性能表现稳定：
65536 5000 1165.18 1165.06 0.0186414. 性能优化与问题排查
4.1 常见性能瓶颈分析
根据实测经验，鲲鹏920平台上的RDMA性能可能受以下因素影响：
- 光模块速率不匹配：25G网卡使用10G光模块会导致链路降速
- 网卡支持限制：并非所有网卡都支持RDMA功能
- 系统配置不当：如MTU设置过小、中断绑定不合理等
- 固件版本过旧：网卡固件或驱动版本可能影响性能
4.2 关键参数调优建议
通过调整以下参数，可能获得更好的性能表现：
- 增加队列对数量：
-q 4（使用4个QP） - 调整MTU大小：
-m 4096（使用最大MTU） - 启用SRQ：
-x 1（共享接收队列） - 调整CQ调制：
-C 100（完成队列调制系数）
# 优化后的测试命令示例 ib_send_bw -d hns_2 -q 4 -m 4096 -x 1 -C 100 192.168.104.104.3 典型问题解决方案
问题1：只有部分网卡支持RDMA
解决方法：
- 确认网卡型号是否在RDMA兼容列表中
- 检查驱动是否正确加载
- 尝试更换支持RDMA的网卡插槽
问题2：测试过程中出现连接失败
排查步骤：
# 检查RDMA设备状态 ibv_devices # 验证端口状态 ibstat # 测试基础连通性 ping 192.168.104.10问题3：实际带宽远低于理论值
优化方向：
- 确认物理链路速率（ethtool ethX）
- 检查中断亲和性设置
- 尝试调整TCP/IP协议栈参数
- 验证CPU频率是否锁定在高性能模式
5. 测试结果分析与应用建议
5.1 性能数据横向对比
将三种测试模式的结果汇总如下：
| 测试类型 | 平均带宽(MB/s) | 消息速率(Mpps) | 延迟(μs) |
|---|---|---|---|
| Send BW | 1165.17 | 0.018643 | - |
| Read BW | 1165.13 | 0.018642 | - |
| Write BW | 1165.06 | 0.018641 | - |
从数据可以看出，鲲鹏920在统信UOS上的RDMA性能表现相当稳定，三种操作模式的带宽基本一致，达到了25G网卡在10G链路下的理论最大值。
5.2 实际应用场景匹配
根据测试结果，可以得出以下应用建议：
- 高性能计算集群：适合采用RDMA加速MPI通信
- 分布式存储系统：可充分发挥高带宽优势
- 数据库系统：利用低延迟特性提升事务处理速度
- AI训练平台：加速参数服务器与worker节点间的数据交换
5.3 长期监控与维护
为确保RDMA性能持续稳定，建议建立以下监控机制：
- 定期带宽测试：纳入日常维护检查项
- 驱动版本管理：跟踪最新驱动更新
- 性能基线建立：记录不同负载下的性能指标
- 异常报警设置：监控RDMA错误计数器
# 监控RDMA端口状态的实用命令 ibqueryerrors ibportstate -G 1 hns_2 1在实际部署中，我们发现保持光模块与网卡速率一致是最容易忽视却影响最大的因素。一次性能调优过程中，仅将10G光模块更换为25G模块，就使RDMA带宽从4.5GB/s提升到了11.2GB/s，接近理论峰值的90%。这提醒我们，硬件配置的细节往往决定着性能的成败。