企业官网建设流程全解析

Gazelle常见问题排查：从网卡绑定到抓包工具(gazelle-pdump)使用详解

【免费下载链接】gazelleA high performance user-mode stack, which powered by dpdk and lwip项目地址: https://gitcode.com/openeuler/gazelle

前往项目官网免费下载：https://ar.openeuler.org/ar/

Gazelle作为openEuler社区的高性能用户态网络协议栈，基于DPDK和lwIP技术构建，为网络应用提供了卓越的性能加速能力。然而在实际部署和使用过程中，新手用户常常会遇到各种配置问题和故障。本文将为您提供完整的Gazelle问题排查指南，重点介绍网卡绑定的常见问题解决方案和gazelle-pdump抓包工具的详细使用方法，帮助您快速定位和解决Gazelle使用中的疑难杂症。🚀

为什么需要Gazelle？高性能网络协议栈的核心优势

在深入问题排查之前，让我们先了解Gazelle的核心价值。Gazelle通过用户态网络协议栈绕过内核开销，直接与网卡硬件交互，实现了极致的网络性能。它特别适合对网络延迟和吞吐量要求极高的场景，如金融交易系统、实时数据处理平台和高性能计算应用。

Gazelle的网络架构模型

从架构图中可以看出，Gazelle通过lstack和ltran组件实现用户态网络处理，其中lstack负责协议栈处理，ltran负责网络包转发。这种分离架构既保证了性能，又提供了灵活性。

网卡绑定常见问题排查指南

网卡绑定是Gazelle部署中最容易出错的环节之一。正确的网卡绑定配置是Gazelle正常工作的基础。

1. 物理网卡绑定失败问题

问题现象：

LSTACK: create_control_thread:171 create control_easy_thread success LSTACK: stack_group_init_mempool:562 config::num_cpu=1 num_process=1 LSTACK: ethdev_port_id:369 No NIC is matched EAL: Error - exiting with code: 1 Cause: gazelle_network_init:306 init_dpdk_ethdev failed

解决方案：

1. 首先使用ip a命令查看网卡设备的MAC地址，并确保与lstack.conf配置文件中的device字段一致
2. 执行网卡绑定命令：

   # 使用vfio-pci驱动（推荐） modprobe vfio-pci dpdk-devbind -b vfio-pci enp3s0 # 或者使用igb_uio驱动 modprobe igb_uio dpdk-devbind -b igb_uio enp3s0

3. 使用dpdk-devbind -s命令确认网卡已成功绑定到DPDK兼容驱动

2. NUMA节点不匹配问题

问题现象：

EAL: Probe PCI driver: mlx5_pci (15b3:1015) device: 0000:81:00.0 (socket 1) mlx5_common: Failed to initialize global MR share cache. EAL: Requested device 0000:81:00.0 cannot be used

解决方案：当网卡设备和Gazelle绑定的CPU不在同一个NUMA节点时，需要采取以下措施之一：

1. 为网卡所在节点分配大页内存

   echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

2. 调整Gazelle使用的CPU核心修改lstack.conf配置文件中的num_cpus参数，确保与网卡在同一NUMA节点：

   num_cpus="2,22" # 确保这些CPU核心与网卡在同一NUMA节点

3. 容器环境CPU限制问题

问题现象：

EAL: VFIO support initialized EAL: FATAL: Cannot set affinity EAL: Cannot set affinity EAL: Error - exiting with code: 1 Cause: create_control_thread:164 dpdk_eal_init failed ret=-1 errno=2

解决方案：在容器环境中，Gazelle使用的CPU核心必须在容器启动时分配的CPU范围内。修改lstack.conf中的num_cpus配置，确保使用容器允许的CPU核心。

4. HINIC网卡VF直通MAC地址不匹配问题

问题现象：

LSTACK: ethdev_port_id:363 nic mac:02:09:c0:f5:05:bc not match LSTACK: ethdev_port_id:369 No NIC is matched

解决方案：对于HINIC网卡的VF直通场景，需要手动设置固定MAC地址：

# 创建VF echo 4 > /sys/class/net/enp5s0/device/sriov_numvfs # 设置VF固定MAC地址 ip link set enp5s0 vf 0 mac 18:3d:5e:bf:6c:22 ip link set enp5s0 vf 1 mac 18:3d:5e:bf:6c:33 # 验证设置 ip link show

重要提示：lstack.conf中的mac配置必须使用手动设置的MAC地址，而不是ip a查询到的enp5s0v0显示的MAC地址。

gazelle-pdump抓包工具使用详解

当Gazelle网络出现问题时，传统的tcpdump无法抓取DPDK管理的网卡数据包。gazelle-pdump作为Gazelle的专用抓包工具，能够完美解决这一问题。

gazelle-pdump工作原理

gazelle-pdump作为Gazelle的从进程，共享网卡驱动收发队列，获取报文并按pcap格式写入文件。该文件可以直接使用Wireshark进行分析。

常用参数说明

使用示例

HINIC网卡抓包：

gazelle-pdump -- --pdump 'device_id=0000:01:00.0,queue=*,rx-dev=/root/capture-rx.pcap,tx-dev=/root/capture-tx.pcap'

AF_XDP网卡抓包：

gazelle-pdump -d /usr/lib64/librte_net_af_xdp.so -- --pdump 'device_id=net_af_xdp,queue=*,rx-dev=/root/capture-rx.pcap,tx-dev=/root/capture-tx.pcap'

MLX网卡抓包：

gazelle-pdump -d /usr/lib64/librte_net_mlx5.so -- --pdump 'device_id=0000:07:00.0,queue=*,rx-dev=/root/capture-rx.pcap,tx-dev=/root/capture-tx.pcap'

数据包分析与过滤

抓包完成后，可以使用tcpdump对pcap文件进行进一步分析：

# 过滤源IP为192.168.1.10的数据包 tcpdump -r /root/capture.pcap src host 192.168.1.10 -w /root/filter-capture.pcap # 查看HTTP流量 tcpdump -r /root/capture.pcap port 80 # 查看TCP连接建立过程 tcpdump -r /root/capture.pcap 'tcp[tcpflags] & (tcp-syn|tcp-ack) != 0'

gazelle-pdump常见错误及解决方法

错误1：设备未由主进程驱动

错误信息：

Device 0000:02:08.0 is not driven by the primary process EAL: Requested device 0000:02:08.0 cannot be used PDUMP: client request for pdump enable/disable failed

原因：lstack/ltran使用的网卡和gazelle-pdump指定的网卡不一致。

解决方法：检查device_id参数，确保与lstack/ltran配置文件中使用的网卡PCI地址一致。

错误2：虚拟设备初始化失败

错误信息：

vdev_probe(): failed to initialize net_af_xdp device EAL: Bus (vdev) probe failed. EAL: Error - exiting with code: 1 Cause: No Ethernet ports - bye

原因：gazelle-pdump没有链接网卡对应的动态库。

解决方法：在gazelle-pdump命令后添加-d参数指定对应的动态库，如AF_XDP网卡使用-d librte_net_af_xdp.so。

错误3：vdev创建失败

错误信息：

EAL: Failed to hotplug add device EAL: Error - exiting with code: 1 Cause: vdev creation failed:create_mp_ring_vdev:700

原因：lstack/ltran没有链接到librte_pmd_pcap.so（DPDK 19.11）或librte_net_pcap.so（DPDK 21.11）动态库。

解决方法：

1. 修改DPDK的编译配置，启用PDUMP支持
2. 使用与Gazelle相同的编译参数重新编译dpdk-pdump

网卡支持矩阵与配置要点

物理网卡支持情况

虚拟网卡支持情况

高级故障排查技巧

1. 性能问题排查

retbleed漏洞补丁影响：内核在5.10.0-60.57.0.85版本合入retbleed漏洞补丁，导致X86架构下Gazelle性能下降。可以在启动参数中增加retbleed=off mitigations=off来规避性能损耗。

性能监控命令：

# 查看Gazelle统计信息 gazellectl lstack show -r # 查看连接状态 gazellectl lstack show -c connect # 查看网络特性状态 gazellectl lstack show -k nic-features

2. 内存配置问题

大页内存配置要点：

• 每个应用实例协议栈线程最低需要800MB大页内存
• ltran需要最低1064MB大页内存
• 建议使用1G大页，避免占用过多文件描述符

配置示例：

# 配置1G大页内存 echo 5 > /sys/devices/system/node/node0/hugepages/hugepages-1048576kB/nr_hugepages # 挂载大页内存 mount -t hugetlbfs nodev /mnt/hugepages-lstack -o pagesize=1G

3. 容器环境特殊配置

VF直通网络模式：

• MLX和HINIC系列网卡支持VF直通
• 需要正确配置SR-IOV和VF创建
• 注意MAC地址的手动设置

容器内驱动问题：如果容器内没有vfio驱动或设备目录未共享，需要在容器启动时添加：

docker run -v /lib/modules/:/lib/modules/ -v /dev:/dev ...

最佳实践与配置建议

配置文件优化建议

lstack.conf关键参数：

# CPU绑定配置（根据实际NUMA拓扑调整） num_cpus="2,22,4,24" # 内存配置（根据实际需求调整） tcp_conn_count=1500 mbuf_count_per_conn=170 # 网络队列配置 nic_rxqueue_size=4096 nic_txqueue_size=2048

ltran.conf关键参数：

# 转发配置 dispatch_max_clients=30 dispatch_subnet="192.168.1.0" dispatch_subnet_length=8 # Bond配置 bond_mode=1 bond_miimon=100

监控与日志

日志级别设置：

# 设置Gazelle日志级别 gazellectl lstack set loglevel debug

系统监控：

• 使用grep Huge /proc/meminfo监控大页内存使用情况
• 使用dpdk-devbind -s监控网卡绑定状态
• 使用系统工具监控CPU和内存使用率

总结与后续步骤

Gazelle作为高性能用户态网络协议栈，在正确配置后能够显著提升网络应用性能。通过本文的详细指南，您应该能够：

1. ✅ 正确完成网卡绑定配置
2. ✅ 使用gazelle-pdump进行网络包捕获和分析
3. ✅ 解决常见的配置问题和错误
4. ✅ 优化Gazelle性能配置

记住，Gazelle的强大性能来自于正确的配置和优化。当遇到问题时，按照本文提供的排查步骤，从网卡绑定开始，逐步检查配置、内存、CPU绑定等关键环节，大多数问题都能得到快速解决。

对于更复杂的问题，建议参考官方文档和支持文档，或通过openEuler社区获取帮助。祝您使用Gazelle顺利！🎯

【免费下载链接】gazelleA high performance user-mode stack, which powered by dpdk and lwip项目地址: https://gitcode.com/openeuler/gazelle