Qwen3.5-35B-A3B-AWQ-4bit实战教程:用SSH隧道本地访问7860 Web界面详细步骤
2026/4/20 6:39:17 网站建设 项目流程

Qwen3.5-35B-A3B-AWQ-4bit实战教程:用SSH隧道本地访问7860 Web界面详细步骤

1. 模型简介

Qwen3.5-35B-A3B-AWQ-4bit是一个面向视觉多模态理解的量化模型,支持图片理解、图文问答、视觉描述等能力。这个模型特别适合做图片分析、图中内容理解和图文对话类应用开发。

1.1 核心能力

能力说明
图片理解可分析上传图片内容
图文问答可围绕图片进行多轮提问
中文输出支持中文问答
GPU加速双卡推理

1.2 主要特点

  • 支持图片上传后直接提问
  • 多模态理解能力完整
  • 双卡24GB已验证可稳定运行
  • Web页面开箱即用

2. 环境准备

2.1 硬件要求

  • 双GPU卡(推荐24GB显存)
  • 至少32GB系统内存
  • 50GB以上磁盘空间

2.2 软件依赖

  • 已安装SSH客户端
  • 现代浏览器(推荐Chrome或Firefox)
  • 稳定的网络连接

3. 通过SSH隧道访问Web界面

3.1 建立SSH隧道

打开终端,执行以下命令建立SSH隧道连接:

ssh -L 7860:127.0.0.1:7860 -p 32468 root@gpu-kktv84d3pq.ssh.gpu.csdn.net

这个命令会将远程服务器的7860端口映射到本地的7860端口。

3.2 访问Web界面

隧道建立成功后,在本地浏览器地址栏输入:

http://127.0.0.1:7860

即可访问Qwen3.5模型的Web交互界面。

4. 基础使用教程

4.1 图文对话基本流程

  1. 点击"上传"按钮选择一张图片
  2. 在输入框中输入你的问题
  3. 点击"发送"按钮提交问题
  4. 等待模型分析并返回回答

4.2 推荐测试方法

  1. 先上传单张清晰图片
  2. 从简单描述类问题开始(如"描述这张图片的内容")
  3. 逐步测试更复杂的问题(如OCR识别、推理分析等)

提示:更换新图片后,建议重新提问以避免上下文混淆。

5. 服务管理

5.1 服务状态检查

# 查看后端服务状态 supervisorctl status qwen35awq-backend # 查看Web服务状态 supervisorctl status qwen35awq-web

5.2 服务重启

# 重启后端服务 supervisorctl restart qwen35awq-backend # 重启Web服务 supervisorctl restart qwen35awq-web

5.3 日志查看

# 查看后端日志 tail -100 /root/workspace/qwen35awq-backend.log # 查看Web日志 tail -100 /root/workspace/qwen35awq-web.log

6. 使用建议

  1. 图片质量:使用清晰、主体明确的图片效果最佳
  2. 提问方式:从简单描述开始,逐步深入细节
  3. 多轮对话:适合围绕同一张图片连续提问
  4. 复杂推理:对于数学图表等复杂内容,建议拆解问题

7. 常见问题解答

Q: 为什么需要双显卡?
A: 这个量化模型即使经过优化,单卡24GB显存仍不够稳定,双卡配置已验证可稳定运行。

Q: 首次响应为什么比较慢?
A: 首次请求包含模型预热过程,图片越大、问题越复杂,响应时间会相应增加。

Q: 页面无法打开怎么办?
A: 首先检查服务状态和端口监听情况:

supervisorctl status qwen35awq-web ss -ltnp | grep 7860

Q: 回答质量不理想怎么办?
A: 尝试以下方法:

  1. 使用更清晰的图片
  2. 简化问题表述
  3. 拆解复杂问题为多个简单问题

Q: 如何确认模型正常运行?
A: 检查日志文件是否有错误信息:

tail -100 /root/workspace/qwen35awq-backend.log

获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询