Qwen3.5-4B-AWQ保姆级教程:supervisor服务崩溃自动重启机制配置
2026/4/27 7:58:55 网站建设 项目流程

Qwen3.5-4B-AWQ保姆级教程:supervisor服务崩溃自动重启机制配置

1. 项目概述

Qwen3.5-4B-AWQ-4bit是阿里云通义千问团队推出的轻量级AI模型,经过4bit AWQ量化后显存占用仅约3GB,可以在RTX 3060/4060等消费级显卡上流畅运行。这个模型在保持轻量化的同时,性能表现依然出色:

  • 性能均衡:MMLU-Pro得分接近Qwen3-30B-A3B,OmniDocBench表现优于GPT-5-Nano
  • 全能力覆盖:支持201种语言处理、原生多模态(图文)理解、长上下文处理、工具调用等功能
  • 部署友好:适配llama.cpp、vLLM等主流推理引擎

2. 环境准备与部署

2.1 基础环境要求

  • 硬件:NVIDIA显卡(推荐RTX 3060/4060及以上)
  • 显存:至少4GB(实际占用约3GB)
  • 系统:Linux(Ubuntu 20.04/22.04测试通过)

2.2 项目目录结构

模型默认安装在以下路径:

/root/Qwen3.5-4B-AWQ-4bit/ ├── webui.py # 主程序入口 ├── supervisor.conf # supervisor配置文件 └── logs/ ├── webui.log # 运行日志 └── webui.err.log # 错误日志

3. Supervisor服务配置详解

3.1 服务管理基础命令

# 查看服务状态 supervisorctl status # 启动服务 supervisorctl start qwen35-4b-awq # 停止服务 supervisorctl stop qwen35-4b-awq # 重启服务 supervisorctl restart qwen35-4b-awq

3.2 自动重启机制配置

Supervisor的自动重启功能主要通过以下两个参数实现:

  1. autostart=true- 系统启动时自动运行服务
  2. autorestart=true- 服务意外终止时自动重启

这些配置已经预设在supervisor.conf文件中,无需额外修改。

3.3 日志查看方法

# 实时查看运行日志 tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.log # 查看错误日志 tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log

4. 常见问题解决

4.1 GPU显存不足问题

如果服务启动失败并提示显存不足,可能是之前有残留进程占用了显存:

# 查看GPU显存占用情况 nvidia-smi # 查找VLLM残留进程 ps aux | grep VLLM # 终止残留进程后重试 kill -9 <PID> supervisorctl start qwen35-4b-awq

4.2 手动调试运行

当需要调试时,可以绕过supervisor直接运行:

cd /root/Qwen3.5-4B-AWQ-4bit /opt/miniconda3/envs/torch28/bin/python webui.py

5. WebUI访问与使用

服务成功启动后,可以通过以下地址访问Web界面:

http://localhost:7860

6. 总结

通过本教程,您已经掌握了:

  1. Qwen3.5-4B-AWQ模型的基本特性和优势
  2. 使用supervisor管理服务的完整流程
  3. 配置自动重启机制的关键参数
  4. 常见问题的排查和解决方法

这套自动重启机制确保了服务的高可用性,即使遇到意外崩溃也能快速恢复,非常适合生产环境部署。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询