企业官网建设流程全解析

NVIDIA MIG 技术在 Kubernetes 集群中的实战配置与性能优化

1. 理解 MIG 技术及其在云原生环境中的价值

NVIDIA 多实例 GPU（Multi-Instance GPU，MIG）技术彻底改变了企业级 GPU 资源管理的方式。这项创新技术允许将一块物理 GPU（如 A100 或 H100）分割成多个完全独立的 GPU 实例，每个实例具备自己的计算核心、显存和缓存资源。与传统的软件虚拟化方案不同，MIG 在硬件层面实现了真正的资源隔离，确保了性能的可预测性和稳定性。

在 Kubernetes 集群环境中，MIG 技术解决了几个关键痛点：

• 资源利用率提升：传统 GPU 分配往往导致资源浪费，小型工作负载无法充分利用整块 GPU。MIG 允许将一块 GPU 划分为 7 个 1g.5gb 实例或 3 个 2g.10gb 实例，显著提高硬件投资回报率。

• 多租户隔离：每个 MIG 实例在硬件层面隔离，不同团队或用户的作业互不干扰，避免了传统共享 GPU 时的资源争抢问题。

• 精细化的资源调度：Kubernetes 调度器可以将不同规模的 Pod 精确匹配到相应规格的 MIG 实例，实现"恰到好处"的资源分配。

• 成本效益：通过 MIG 技术，企业可以用更少的物理 GPU 卡支持更多的并发工作负载，降低总体拥有成本（TCO）。

MIG 支持多种切分方案，常见的配置包括：

2. 搭建支持 MIG 的 Kubernetes 集群环境

2.1 硬件与软件前提条件

在开始配置前，确保您的环境满足以下要求：

• 硬件要求：

  • NVIDIA A100 或 H100 GPU（消费级显卡如 RTX 4090 不支持 MIG）
  • 每个节点建议配备至少 64GB 系统内存
  • 高速网络互连（如 100Gbps EDR InfiniBand 或 25Gbps 以太网）

• 软件要求：

  • Kubernetes 1.20 或更高版本
  • NVIDIA 驱动程序 450.80.02 或更高版本
  • NVIDIA GPU Operator 1.9+ 或 Volcano 调度器
  • 容器运行时支持（Docker 19.03+ 或 containerd 1.4+）

2.2 安装 NVIDIA GPU Operator

NVIDIA GPU Operator 是 Kubernetes 中管理 GPU 资源的首选方案，它自动化了驱动、容器运行时和监控组件的部署。以下是安装步骤：

# 添加 NVIDIA Helm 仓库 helm repo add nvidia https://helm.ngc.nvidia.com/nvidia helm repo update # 安装 GPU Operator helm install --wait --generate-name \ -n gpu-operator --create-namespace \ nvidia/gpu-operator \ --set mig.strategy=mixed \ --set operator.defaultRuntime=containerd

关键配置参数说明：

• mig.strategy: 设置为mixed允许同时使用整卡和 MIG 实例
• operator.defaultRuntime: 根据集群实际使用的容器运行时选择

安装完成后，验证组件状态：

kubectl get pods -n gpu-operator

预期输出应显示所有 Pod 处于Running状态，特别是gpu-feature-discovery和nvidia-device-plugin。

2.3 配置节点 MIG 模式

在 Kubernetes 节点上启用 MIG 需要几个步骤：

1. 启用 MIG 模式：

sudo nvidia-smi -i 0 --mig-config=1

2. 创建 MIG 实例（以 7x1g.5gb 为例）：

sudo nvidia-smi mig -i 0 -cgi 1g.5gb,1g.5gb,1g.5gb,1g.5gb,1g.5gb,1g.5gb,1g.5gb

3. 验证 MIG 状态：

nvidia-smi -L

预期输出应显示 7 个 MIG 实例的 UUID。

3. Kubernetes 中 MIG 资源的调度与管理

3.1 通过 GPU Operator 自动发现 MIG 资源

GPU Operator 会自动检测节点上的 MIG 配置，并通过 Kubernetes 设备插件机制将这些资源暴露给集群。查看节点资源：

kubectl describe node <node-name>

在输出中应看到类似如下的资源：

Capacity: nvidia.com/gpu: 1 nvidia.com/mig-1g.5gb: 7 Allocatable: nvidia.com/gpu: 1 nvidia.com/mig-1g.5gb: 7

3.2 部署工作负载到 MIG 实例

以下是一个使用 MIG 实例的示例 Deployment：

apiVersion: apps/v1 kind: Deployment metadata: name: mig-inference spec: replicas: 3 selector: matchLabels: app: mig-inference template: metadata: labels: app: mig-inference spec: containers: - name: inference-container image: nvcr.io/nvidia/tensorrt:22.12-py3 resources: limits: nvidia.com/mig-1g.5gb: 1 command: ["sleep", "infinity"]

关键配置说明：

• nvidia.com/mig-1g.5gb: 1指定 Pod 需要一个 1g.5gb 的 MIG 实例
• 确保 Pod 调度到有足够 MIG 资源的节点

3.3 高级调度策略与 Volcano 集成

对于更复杂的调度需求，可以使用 Volcano 调度器增强 MIG 资源管理：

1. 安装 Volcano：

helm install volcano volcano/volcano -n volcano-system --create-namespace

2. 创建 Volcano Job 使用 MIG 资源：

apiVersion: batch.volcano.sh/v1alpha1 kind: Job metadata: name: mig-training-job spec: schedulerName: volcano plugins: ssh: [] svc: [] policies: - event: PodFailed action: RestartJob tasks: - replicas: 3 name: "train" template: spec: containers: - name: train image: nvcr.io/nvidia/pytorch:22.12-py3 command: ["python", "train.py"] resources: limits: nvidia.com/mig-2g.10gb: 1 restartPolicy: OnFailure

Volcano 提供了高级调度功能，如：

• 队列管理：为不同团队分配 MIG 资源配额
• 任务优先级：确保关键工作负载优先获得资源
• 拓扑感知调度：优化多节点间的通信性能

4. 性能优化与最佳实践

4.1 MIG 切分方案选择指南

选择正确的 MIG 切分方案需要考虑工作负载特性：

4.2 性能监控与调优

有效的监控是优化 MIG 使用效率的关键：

1. 部署 DCGM Exporter：

helm upgrade --install dcgm-exporter \ nvidia/dcgm-exporter \ --namespace gpu-operator \ --set serviceMonitor.enabled=true

2. 关键监控指标：

• DCGM_FI_PROF_GR_ENGINE_ACTIVE: GPU 计算引擎利用率
• DCGM_FI_PROG_MEM_COPY_UTIL: 显存带宽利用率
• DCGM_FI_PROF_PCIE_TX_BYTES: PCIe 发送带宽
• DCGM_FI_PROF_PCIE_RX_BYTES: PCIe 接收带宽

3. Grafana 仪表板配置示例：

# MIG 实例显存使用率 sum by (pod, namespace) (DCGM_FI_DEV_MEM_COPY_UTIL{gpu=~"MIG.*"}) # MIG 实例计算利用率 sum by (pod, namespace) (DCGM_FI_PROF_GR_ENGINE_ACTIVE{gpu=~"MIG.*"})

4.3 常见问题排查

问题1：Pod 无法获取 MIG 资源

解决方案：

1. 检查节点是否有足够的 MIG 实例：

   kubectl describe node <node-name> | grep mig

2. 验证 MIG 配置是否正确：

   kubectl logs -n gpu-operator <nvidia-device-plugin-pod>

问题2：MIG 实例性能低于预期

解决方案：

1. 检查是否有资源争用：

   nvidia-smi -i 0 -mig 1

2. 验证 PCIe 带宽是否成为瓶颈：

   dcgmi dmon -e 205,206 -c 10

问题3：无法更改 MIG 配置

解决方案：

1. 确保没有运行中的 Pod 使用 MIG 资源
2. 重置 MIG 配置：

   sudo nvidia-smi -i 0 -mig 0 sudo nvidia-smi -i 0 -mig 1

5. 生产环境部署建议

5.1 多租户安全隔离

在共享集群环境中，确保不同租户间的隔离至关重要：

1. 命名空间隔离：为每个团队创建独立的命名空间
2. 资源配额限制：

   apiVersion: v1 kind: ResourceQuota metadata: name: team-a-quota spec: hard: nvidia.com/mig-1g.5gb: 10 nvidia.com/mig-2g.10gb: 4

3. 网络策略：限制 Pod 间的网络通信

5.2 自动伸缩策略

结合 Kubernetes Cluster Autoscaler 和 MIG 实现智能伸缩：

1. 配置节点自动发现标签：

   kubectl label nodes <node-name> \ nvidia.com/mig.config=all-1g.5gb \ cluster-autoscaler.kubernetes.io/scale-down-disabled=true

2. 创建自定义自动伸缩策略：

   apiVersion: autoscaling/v2beta2 kind: HorizontalPodAutoscaler metadata: name: mig-hpa spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: mig-inference minReplicas: 1 maxReplicas: 10 metrics: - type: Resource resource: name: nvidia.com/mig-1g.5gb target: type: Utilization averageUtilization: 70

5.3 备份与灾难恢复

确保 MIG 配置和 GPU 工作负载的可靠性：

1. 定期备份 MIG 配置：

   nvidia-smi mig -lgipp -i 0 > mig-config-backup.txt

2. 使用 Velero 备份 GPU 工作负载：

   velero backup create mig-backup --include-namespaces gpu-workloads

3. 跨区域复制策略：在多个可用区部署相同 MIG 配置的节点

6. 未来展望与生态系统集成

随着 MIG 技术的成熟，我们看到以下发展趋势：

• 动态 MIG 重配置：在不重启节点的情况下调整 MIG 切分方案
• 更精细的资源划分：支持非对称切分和自定义实例规格
• 与 Kubeflow 的深度集成：简化 MIG 在 ML 工作流中的管理
• 异构计算支持：结合 DPU 和 GPU 实现更高效的数据流水线

在实际项目中，我们观察到采用 MIG 技术后，GPU 利用率平均提升了 2-3 倍，同时减少了 40% 的基础设施成本。特别是在推理场景下，7x1g.5gb 配置能够完美支持中小模型的并发需求，而不会出现传统 GPU 共享方案中的性能抖动问题。