Qwen3-8B 在 Windows 上基于 LM Studio 的本地部署与 OpenAI API 调用实战指南-酒店常州论坛

Qwen3-8B 在 Windows 上基于 LM Studio 的本地部署与 OpenAI API 调用实战指南

【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程项目地址: https://gitcode.com/datawhalechina/self-llm

导读

本文是 Datawhale《开源大模型食用指南》系列中的一篇实操教程，核心讲解如何在不依赖命令行、无需良好网络环境的前提下，在 Windows 本地用LM Studio完成 Qwen3-8B 的安装、模型加载、对话测试与OpenAI 兼容 API的程序化调用。读完本文，你将掌握在线搜索下载与离线手动安装 GGUF 模型两种方式，学会根据显存选择合适的量化版本，并能用 Python 通过localhost:1234/v1调用本地模型完成推理。全文以仓库中的 03-Qwen3-7B-Instruct Windows LMStudio 部署为骨架，并结合 Qwen3 思考模式、vLLM 部署等兄弟文档做原理补充。

1. 为什么选择 LM Studio 部署 Qwen3

在本地运行大语言模型已成为开发者与爱好者的常见诉求，它带来隐私性、定制化和离线可用三方面价值。与Ollama这类以命令行界面为主的管理工具不同，LM Studio提供了：

更丰富的图形化界面：模型搜索、下载、加载、对话、API 服务全部可视化操作；
同样强大的模型生态支持：原生支持 GGUF 格式，可直接加载 Hugging Face / 魔搭社区的量化模型；
更易上手的交互体验：无需记忆ollama run之类的命令，全程点击即可；
无网络环境下依然可用：模型文件一旦就位，LM Studio 可以完全离线运行本地 LLM 应用。

本教程在仓库中的支持模型清单 support_model.md 中被收录为"Qwen3-8B Windows LMStudio 部署调用"，是 Qwen3 家族在 Windows 桌面端部署的推荐路径。需要说明的是：仓库中该文档的标题写作 "Qwen3-7B-Instruct"，但正文与配套截图实际操作的是Qwen3-8B的 GGUF 量化版本，下文统一以 Qwen3-8B 为准。

2. LM Studio 的下载与安装

进入 LM Studio 官网后点击页面上的Download按钮即可获取 Windows 安装包（对应仓库截图见 models/Qwen3/images/03-01.png，图中为 "Download LM Studio for Windows" 下载入口）。

安装过程按向导**一路点击"下一步"**即可完成，无需额外配置。启动后你会看到搜索（放大镜）、聊天、开发者（终端）等主要功能模块，后续步骤全部在这些界面中完成。

3. 在线下载 Qwen3-8B 模型

LM Studio 内置了模型搜索与下载能力，步骤如下：

点击左侧导航栏的**放大镜图标（Model Search）**进入模型市场；
在搜索框中输入qwen，在结果列表中找到Qwen3 8B条目；
LM Studio 会根据你的电脑配置为每个模型标注运行适配度：绿色火箭表示体验流畅，无火箭表示运行较缓慢，红色则代表基本无法运行。选择绿色火箭标识的版本；
在右侧详情面板中选择一个量化格式（如 Q4_K、Q6_K、Q8_0），点击绿色Download按钮即可下载。

下图展示的是在 LM Studio 中搜索到 Qwen3 8B 后，选择量化格式并下载的界面（对应仓库截图 models/Qwen3/images/03-03.png）：

量化格式（Q4_K / Q6_K / Q8_0 等）直接决定了模型体积与推理精度：位数越低体积越小、对显存要求越低，但精度损失越大。8B 级模型通常 Q4_K 即可兼顾体积与效果，详见第 4 节的显存选型建议。

4. 离线安装模型（网络不佳场景）

对于网络状况不佳、在线下载缓慢的用户，推荐从魔搭社区（ModelScope）手动下载 GGUF 文件并放置到 LM Studio 的模型库中：

4.1 定位模型存储目录

点击 LM Studio 左下角进入模型管理界面，找到Models Directory，通过Open in File Explorer打开模型存储根目录（截图见 models/Qwen3/images/03-04.png）：

默认目录结构下，所有模型存放于lmstudio-community子目录中，每个模型一个独立文件夹。

4.2 创建模型文件夹并下载 GGUF 文件

在lmstudio-community目录下新建Qwen3-8B-GGUF文件夹；
进入魔搭社区对应模型页面，从文件列表中选择合适的量化文件下载；
将下载好的.gguf文件放入Qwen3-8B-GGUF文件夹中。

原文档作者的机器为 4070 Ti，显存充裕，因此选择体积最大的Q8_0量化文件Qwen3-8B-Q8_0.gguf；同时给出了显存选型参考：

显存大小	推荐量化文件	说明
8G 显存	`Qwen3-8B-Q4_K_M.gguf`（Q4）	精度与显存占用的平衡点
8G 以下 / 更紧张	`Qwen3-8B-Q3_K_M.gguf`（Q3）	进一步压缩体积，可跑但质量有所下降
大显存（如 12G+）	`Qwen3-8B-Q8_0.gguf`（Q8）	接近原始精度，体验最佳

4.3 验证模型识别

文件就位后返回 LM Studio 的模型列表刷新，即可看到Qwen3-8B已被自动识别，加载时界面会显示进度条，并标注 GGUF 格式、量化类型与文件大小（截图见 models/Qwen3/images/03-08.png）。

离线安装的本质是：LM Studio 按模型目录/模型文件夹/*.gguf的约定扫描本地文件。只要目录结构与文件名规范，LM Studio 就会将其纳入模型库，这一机制让断网环境下的部署完全可行。

5. 对话测试：加载模型并开始聊天

点击左侧黄色对话（Chat）标签，在顶部选择"Select a model to load"下拉框，选中qwen3-8b；
模型加载完成后（加载面板会显示上下文长度 Context、内存占用与 Eject 卸载按钮，见 models/Qwen3/images/03-10.png），即可在下方输入框提问。

与 Qwen3-8B 对话时会有一个值得注意的现象：模型的回答往往包含两段结构——被<think>与</think>包裹的思考过程，以及其后的最终答案。这正是 Qwen3 的核心特性"思考模式（Thinking Mode）"。仓库文档 07-Qwen3-Think-解密-Blog 解释了其底层原理：Qwen3 支持思考与非思考两种模式，思考模式下模型会先输出推理链，官方实现通过统计<think>之后的 token 数量来控制"思考预算"，达到预算上限即停止思考并补上</think>进入输出阶段；两种模式可通过对话模板（tokenizer_config.json中的chat_template）切换。LM Studio 对话界面中可以直接观察到<think>标记，这正是 Qwen3 家族区别于传统对话模型的典型特征。

6. 通过本地 API 程序化调用 Qwen3-8B

6.1 准备 Python 环境

python>=3.7

安装 OpenAI 官方 Python 库（LM Studio 的本地服务器实现了 OpenAI 兼容协议，因此直接复用 OpenAI SDK）：

pip install openai

注意：原文档中的pip install Openai请以官方小写包名openai为准，避免大小写导致的安装失败。

6.2 配置 LM Studio 本地服务器

打开绿色的Developer / Terminal（开发者）模块，确认 Runtime 状态为Running；
点击Settings进入设置面板；
打开Serve on Local Network开关（可选：启用 Enable CORS 方便网页端跨域调用），端口默认1234，截图见 models/Qwen3/images/03-12.png；

在开发者模块中选择并启动 Qwen3-8B 模型；
在右侧信息区域查看当前模型的标识名称与服务器地址，例如模型标识qwen3-8b、地址http://172.17.128.1:1234（截图见 models/Qwen3/images/03-14.png）：

本机调用时直接使用localhost即可；若是局域网内的其他设备调用，则使用该设备的局域网 IP。

6.3 编写 Python 调用代码

原文档给出的完整示例代码如下（模型名、地址与端口以你本机实际显示为准）：

from openai import OpenAI # Point to the local server client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio") completion = client.chat.completions.create( model="qwen3-8b", messages=[ {"role": "system", "content": "你是一个回答我日常问题的ai辅助机器人"}, {"role": "user", "content": "如何做宫保鸡丁。"} ], temperature=0.7, ) print(completion.choices[0].message.content)

代码要点：

base_url：指向 LM Studio 本地服务器，路径固定为http://<host>:<port>/v1，与 OpenAI 官方端点结构一致；
api_key：本地服务不校验密钥，随意填写（如"lm-studio"）即可，仅用于满足 SDK 的参数要求；
model：必须是开发者模块右侧显示的模型标识符（如qwen3-8b），而非文件名；
temperature：采样温度，控制生成随机性，可根据场景在 0～1 之间调整。

6.4 运行结果解读

运行上述脚本，Qwen3-8B 会先输出一段<think>包裹的推理过程（分析用户需求、回忆食材与做法、考虑初学者友好性等），随后输出最终的"宫保鸡丁"烹饪步骤答案。这一现象与第 5 节对话测试中观察到的思考模式完全一致，也与仓库中 02-Qwen3-8B-vLLM 部署调用的验证结果互相印证——该文档展示了 Qwen3 在 vLLM 推理时输出同样由<think>...</think>推理链加最终答案构成，且默认开启思考模式，官方推荐思考模式采样参数为temperature=0.6, TopP=0.95, TopK=20, MinP=0，非思考模式建议temperature=0.7, TopP=0.8。

7. 从 LM Studio 到 OpenAI 兼容生态

LM Studio 本地 API 与 vLLM 的 OpenAI 兼容服务器（默认http://localhost:8000）遵循同一套协议，这意味着：

本地调试阶段可以用 LM Studio 快速验证 prompt 与模型效果，无需部署重型推理框架；
代码层面只需修改base_url与model即可在 LM Studio、vLLM 等不同后端之间切换，业务代码零改动；
结合 Qwen3 的思考模式特性，你可以在 API 调用中直观看到<think>推理链，用于分析模型决策过程。

至此，你已经完成了 Qwen3-8B 在 Windows 上基于 LM Studio 的下载、离线安装、对话测试与 API 程序化调用全流程。这套方法同样适用于 LM Studio 生态内的其他 GGUF 模型；若需要更进一步的微调或高性能服务化部署，可继续阅读仓库中 Qwen3 模型结构解析、Qwen3-8B vLLM 部署调用以及 Qwen3-8B LoRA 微调及 SwanLab 可视化记录等系列文档。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

企业官网建设流程全解析