企业官网建设流程全解析

8卡海光Z100L服务器实战：从零部署Qwen2.5-32B大模型全流程指南

国产化算力平台正在成为AI基础设施的新选择。海光Z100L作为国产高性能计算卡的代表，其8卡服务器的配置足以承载32B参数规模的大模型推理。本文将完整呈现从硬件验收到模型服务的全链路操作，特别针对海光DCU生态与通用GPU的差异点进行深度解析。

1. 硬件准备与环境校验

拿到一台全新的8卡服务器时，首先要确认硬件状态和基础环境。海光平台的特殊性在于其DCU（Deep Computing Unit）架构，需要配套的驱动和工具链支持。

1.1 硬件识别与驱动安装

通过以下命令检查DCU设备信息：

lspci | grep -i 'Display\|Compute'

典型输出应显示8个Z100L设备，类似：

37:00.0 Display controller: Chengdu C-3000 IC Design Co., Ltd. ZIFANG (rev 01) 3a:00.0 Display controller: Chengdu C-3000 IC Design Co., Ltd. ZIFANG (rev 01) ...

安装DCU驱动时需注意版本匹配：

wget https://your-official-path/dtk-25.04.1-driver/rock-6.3.15-V1.0.1.run chmod +x rock-6.3.15-V1.0.1.run ./rock-6.3.15-V1.0.1.run

注意：安装前建议卸载旧版驱动，使用rpm -e命令清理历史版本

1.2 环境监控工具

海光提供专属监控工具hy-smi，其输出参数与NVIDIA-smi有所不同：

实时监控建议使用：

watch -n 1 hy-smi

2. 容器化环境配置

为隔离依赖环境，推荐使用海光官方提供的Docker镜像。与通用GPU镜像相比，需特别注意两点：

1. 必须挂载/dev/kfd设备
2. 需要额外加载视频设备组

2.1 镜像获取与启动

拉取预装DTK的vLLM镜像：

docker pull image.sourcefind.cn:5000/dcu/vllm:0.8.5-ubuntu22.04-dtk25.04.1

启动容器时关键参数说明：

docker run -it \ --device=/dev/kfd \ --device=/dev/dri \ --group-add video \ --shm-size=128G \ -v /opt/hyhal:/opt/hyhal:ro \ -v /your/model/path:/models \ your_image_id

重要：海光平台必须设置--shm-size足够大，否则多卡通信会出现异常

3. vLLM部署实战

3.1 模型准备

将微调后的Qwen2.5-32B模型放入挂载目录，目录结构应包含：

/home/qwen2.5-32b/ ├── config.json ├── model.safetensors └── tokenizer/

3.2 启动参数优化

针对Z100L的8卡配置，推荐启动命令：

python -m vllm.entrypoints.openai.api_server \ --model /home/qwen2.5-32b \ --tensor-parallel-size 8 \ --max-model-len 6144 \ --gpu-memory-utilization 0.85 \ --dtype bfloat16 \ --trust-remote-code

关键参数对比：

3.3 常见问题排查

问题1：启动时报错DCU memory insufficient

• 解决方案：降低--gpu-memory-utilization值至0.8

问题2：请求响应慢

• 检查项：

  hy-smi | grep -i 'DCU%'

  若多卡利用率不均衡，需检查模型分片情况

4. 服务验证与性能调优

4.1 API接口测试

使用curl验证服务：

curl http://localhost:5002/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen2.5-32b", "messages": [{ "role": "user", "content": "解释量子纠缠现象" }] }'

4.2 性能优化技巧

1. 批处理优化：

   # 在请求中添加stream参数 {"stream": true, "max_tokens": 512}

2. 显存监控：

   watch -n 0.5 "hy-smi | grep -A8 'VRAM%'"

3. 日志分析：

   tail -f vllm.log | grep -i 'throughput'

在实际部署中，我们发现海光Z100L对bfloat16的支持优于float16，建议在DTK25.04及以上版本中使用。当处理长文本时，适当降低--max-model-len可以提升推理稳定性