Qwen3.5-4B-AWQ保姆级教程:supervisor服务崩溃自动重启机制配置
1. 项目概述
Qwen3.5-4B-AWQ-4bit是阿里云通义千问团队推出的轻量级AI模型,经过4bit AWQ量化后显存占用仅约3GB,可以在RTX 3060/4060等消费级显卡上流畅运行。这个模型在保持轻量化的同时,性能表现依然出色:
- 性能均衡:MMLU-Pro得分接近Qwen3-30B-A3B,OmniDocBench表现优于GPT-5-Nano
- 全能力覆盖:支持201种语言处理、原生多模态(图文)理解、长上下文处理、工具调用等功能
- 部署友好:适配llama.cpp、vLLM等主流推理引擎
2. 环境准备与部署
2.1 基础环境要求
- 硬件:NVIDIA显卡(推荐RTX 3060/4060及以上)
- 显存:至少4GB(实际占用约3GB)
- 系统:Linux(Ubuntu 20.04/22.04测试通过)
2.2 项目目录结构
模型默认安装在以下路径:
/root/Qwen3.5-4B-AWQ-4bit/ ├── webui.py # 主程序入口 ├── supervisor.conf # supervisor配置文件 └── logs/ ├── webui.log # 运行日志 └── webui.err.log # 错误日志3. Supervisor服务配置详解
3.1 服务管理基础命令
# 查看服务状态 supervisorctl status # 启动服务 supervisorctl start qwen35-4b-awq # 停止服务 supervisorctl stop qwen35-4b-awq # 重启服务 supervisorctl restart qwen35-4b-awq3.2 自动重启机制配置
Supervisor的自动重启功能主要通过以下两个参数实现:
- autostart=true- 系统启动时自动运行服务
- autorestart=true- 服务意外终止时自动重启
这些配置已经预设在supervisor.conf文件中,无需额外修改。
3.3 日志查看方法
# 实时查看运行日志 tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.log # 查看错误日志 tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log4. 常见问题解决
4.1 GPU显存不足问题
如果服务启动失败并提示显存不足,可能是之前有残留进程占用了显存:
# 查看GPU显存占用情况 nvidia-smi # 查找VLLM残留进程 ps aux | grep VLLM # 终止残留进程后重试 kill -9 <PID> supervisorctl start qwen35-4b-awq4.2 手动调试运行
当需要调试时,可以绕过supervisor直接运行:
cd /root/Qwen3.5-4B-AWQ-4bit /opt/miniconda3/envs/torch28/bin/python webui.py5. WebUI访问与使用
服务成功启动后,可以通过以下地址访问Web界面:
http://localhost:7860
6. 总结
通过本教程,您已经掌握了:
- Qwen3.5-4B-AWQ模型的基本特性和优势
- 使用supervisor管理服务的完整流程
- 配置自动重启机制的关键参数
- 常见问题的排查和解决方法
这套自动重启机制确保了服务的高可用性,即使遇到意外崩溃也能快速恢复,非常适合生产环境部署。
获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。