保姆级教程：在Red Hat Linux上为NVIDIA ConnectX-4/5/6网卡开启SR-IOV（含BIOS与内核参数避坑指南）-酒店常州论坛

保姆级教程：在Red Hat Linux上为NVIDIA ConnectX-4/5/6网卡开启SR-IOV（含BIOS与内核参数避坑指南）

当你第一次在数据中心看到那些标着"NVIDIA ConnectX"的蓝色网卡时，可能不会想到这些小小的硬件能带来多大的性能飞跃。但当你开始接触虚拟化环境中的网络瓶颈问题时，SR-IOV技术就会成为你的救星。本文将手把手带你完成从硬件准备到系统配置的全过程，特别针对Red Hat Enterprise Linux环境下NVIDIA ConnectX-4/5/6系列网卡的SR-IOV配置。

1. 环境准备与硬件检查

在开始之前，我们需要确认几个关键点。首先，确保你的服务器主板支持SR-IOV技术。这个信息通常可以在主板规格书或厂商的BIOS更新说明中找到。其次，检查你的NVIDIA ConnectX网卡型号是否在支持列表中。

必备组件清单：

支持SR-IOV的服务器主板（Intel或AMD平台均可）
NVIDIA ConnectX-4/5/6系列网卡
Red Hat Enterprise Linux 7/8/9操作系统
最新版本的MLNX_OFED驱动程序

使用以下命令检查网卡型号和当前驱动版本：

lspci | grep Mellanox modinfo mlx5_core | grep version

2. BIOS关键设置详解

很多人在SR-IOV配置中遇到的第一个坑就是BIOS设置不完整。仅仅开启SR-IOV选项是不够的，还需要配合其他几个关键设置。

2.1 进入BIOS设置界面

不同厂商的服务器进入BIOS的方式可能不同，常见的有：

Dell PowerEdge：开机时按F2
HPE ProLiant：开机时按F9
Lenovo ThinkSystem：开机时按F1

2.2 必须开启的BIOS选项

在BIOS中找到以下设置并确保它们处于启用状态：

设置项	说明	典型位置
SR-IOV Support	主SR-IOV开关	Advanced → PCI Configuration
Intel VT-d / AMD-Vi	IOMMU虚拟化支持	Advanced → Processor Configuration
Above 4G Decoding	允许访问高位址内存	Advanced → Memory Configuration
PCIe ARI Support	替代路由ID支持	Advanced → PCI Configuration

特别注意：某些主板的SR-IOV选项可能隐藏在二级菜单中，如果找不到，建议查阅主板手册或联系厂商支持。

3. 系统内核参数配置

BIOS设置完成后，接下来需要配置Linux内核参数。这一步经常被忽视，但却是SR-IOV能否正常工作的关键。

3.1 修改grub配置文件

编辑/etc/default/grub文件，在GRUB_CMDLINE_LINUX行添加以下参数：

intel_iommu=on iommu=pt pci=realloc=off

对于AMD平台，使用：

amd_iommu=on iommu=pt pci=realloc=off

更新grub配置后重启：

grub2-mkconfig -o /boot/grub2/grub.cfg reboot

3.2 验证IOMMU是否启用

重启后，检查dmesg输出确认IOMMU已启用：

dmesg | grep -i iommu

你应该能看到类似这样的输出：

[ 0.000000] DMAR: IOMMU enabled [ 0.049734] DMAR-IR: IOAPIC id 8 under DRHD base 0xfbffc000 IOMMU 0

4. 网卡固件配置与VF创建

现在来到最核心的部分——配置网卡固件并创建虚拟功能(VF)。

4.1 检查当前SR-IOV状态

首先使用mlxconfig工具检查网卡当前配置：

mlxconfig -d /dev/mst/mt4115_pciconf0 q

输出示例：

Device #1: ---------- Device type: ConnectX4 PCI device: /dev/mst/mt4115_pciconf0 Configurations: Current SRIOV_EN True(1) NUM_OF_VFS 8

4.2 配置SR-IOV参数

如果需要修改VF数量（例如设置为16个VF）：

mlxconfig -d /dev/mst/mt4115_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=16

重要提示：

修改固件配置后必须重启服务器生效
VF数量不能超过网卡支持的最大值（ConnectX-6最多支持127个VF）
增加VF数量会消耗更多系统资源

4.3 创建虚拟功能

重启后，通过sysfs接口激活VF：

echo 16 > /sys/class/infiniband/mlx5_0/device/sriov_numvfs

验证VF是否创建成功：

lspci | grep Mellanox

正常输出应显示多个VF设备，例如：

04:00.0 Infiniband controller: Mellanox Technologies MT28908 Family [ConnectX-6] 04:00.1 Infiniband controller: Mellanox Technologies MT28908 Family [ConnectX-6] 04:00.2 Infiniband controller: Mellanox Technologies MT28908 Family [ConnectX-6 Virtual Function] 04:00.3 Infiniband controller: Mellanox Technologies MT28908 Family [ConnectX-6 Virtual Function] [...更多VF...]

5. 常见问题排查与性能优化

即使按照步骤操作，仍可能遇到各种问题。以下是几个常见问题及其解决方法。

5.1 VF创建失败的可能原因

问题现象	可能原因	解决方案
sriov_numvfs写入失败	IOMMU未启用	检查BIOS和内核参数
VF数量受限	固件设置不足	使用mlxconfig增加NUM_OF_VFS
系统资源不足	内存或PCIe资源耗尽	减少VF数量或增加系统资源

5.2 性能调优建议

中断亲和性设置：

echo 0 > /proc/irq/$(cat /proc/interrupts | grep mlx5 | head -1 | awk '{print $1}' | tr -d :) /smp_affinity_list

启用巨页：

echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

调整网络参数：

sysctl -w net.core.rmem_max=16777216 sysctl -w net.core.wmem_max=16777216

6. 虚拟化环境集成

最后，我们需要将这些VF分配给虚拟机使用。这里以KVM为例说明基本流程。

6.1 准备VF设备

首先解绑要分配给虚拟机的VF：

echo 0000:04:00.2 > /sys/bus/pci/drivers/mlx5_core/unbind

6.2 配置KVM虚拟机

在虚拟机XML配置中添加PCI设备：

<hostdev mode='subsystem' type='pci' managed='yes'> <source> <address domain='0x0000' bus='0x04' slot='0x00' function='0x2'/> </source> </hostdev>

6.3 验证虚拟机内网卡

启动虚拟机后，检查是否识别到VF设备：

lspci | grep Mellanox ip link show

7. 生产环境注意事项

在实际生产环境中部署SR-IOV时，还需要考虑以下因素：

热迁移限制：使用SR-IOV的设备通常不支持虚拟机热迁移
监控与维护：VF的状态监控需要特殊处理
安全隔离：确保不同VF之间的适当隔离
驱动兼容性：虚拟机内需要安装匹配的驱动版本

一个实用的建议是，在正式部署前，先在测试环境验证所有功能。我曾经在一个客户环境中遇到VF无法正常工作的问题，最后发现是因为BIOS版本过旧。升级BIOS后问题立即解决。

企业官网建设流程全解析