☰
PC AI本地化PoC实践(二): 模型下载与测试
2026/10/28 2:01:16 网站建设 项目流程

1. 调测目标与范围

• 验证 Windows 10、Ollama 与 RTX 3090 的本地推理链路是否可用。
• 分级验证小模型与32B模型的加载、推理、显存、功耗、温度及系统稳定性。
• 为后续 VS Code / AI Coding 插件、真实 Git 项目和多人访问测试建立基线。
• 本次不安装 Open WebUI、认证鉴权或 API Gateway,避免在基础链路未稳定前增加变量。

2. 测试环境

3. 几个模型情况


4 qwen2.5-coder:32b 异常过程

  1. 执行 ollama run qwen2.5-coder:32b,准备首次加载19GB模型。
  2. 命令执行后,RDP突然中断,并持续无法重新连接。
  3. 到PC现场检查时,连接在RTX 3090 HDMI1的本地显示器也无法正常显示。
  4. 设备无法通过正常方式恢复,只能强制掉电并重新上电。
  5. 重启后,使用 Windows 系统事件日志进行排查。

异常判断:已确认故障涉及 NVIDIA 显示驱动及 Windows 远程显示链路,而不是单纯 Ollama 交互界面卡住。现有日志无法单独证明550W电源就是根因;供电不足、散热异常、GPU稳定性、PCIe供电线、驱动问题均需继续排查。

5. qwen2.5-coder:1.5b 轻量验证

ollama pull qwen2.5-coder:1.5b ollama run qwen2.5-coder:1.5b

基础问答和Coding测试包括:
• “为什么地球是蓝色的?”
• “从1加到100,总数是多少?”
• “Write a Python function that adds two numbers.”
• Employee Management System:Employee类、增加/删除/查找/列表、平均工资、按部门分组、main函数、注释及代码解释。

5.1 持续生成测试的设计逻辑

测试题目选择“逻辑简单、输出较长”的程序生成任务。它不要求复杂算法或大规模推理,但模型必须持续逐Token生成多个函数、注释和解释,因此可以让GPU连续工作数十秒,同时避免直接使用32B模型或并发请求造成过高负载。

5.2 实测结果

测试结论:Ollama、1.5B模型和RTX 3090基础推理链路已验证可用;当前系统具备基础脚本、简单函数、CRUD示例和代码解释等入门级 AI Coding 能力。该结果不能代表32B模型或复杂Repository任务已经可用。

6.当前能力边界

7. 主要风险分析

**散热风险:**1.5B小模型在约143W功耗下,GPU核心温度已升至约89°C。结合显卡没有自带风扇的信息,必须先确认显卡是否为被动散热设计、是否依赖服务器级强制风道,以及GPU散热片、显存/热点温度和机箱气流。
**供电风险:**550W PSU对于RTX 3090高负载场景余量有限,但目前事件日志尚不能直接证明电源是故障根因。需要核对PSU品牌/额定功率、12V输出、PCIe供电接口及是否使用独立线缆。
温度解释:本次记录的89°C为nvidia-smi显示的GPU核心温度。RTX 3090的GDDR6X显存结温可能高于核心温度,后续应使用HWiNFO等工具同时记录GPU Temperature、GPU Hot Spot和Memory Junction。
事件41解释:Kernel-Power 41只说明上一次未正常关机;由于本次最终进行了强制掉电,它不能作为PSU故障的单独证据。
模型能力解释:1.5B测试通过仅说明基础链路和轻量Coding可用,不表示RTX 3090硬件能力仅限于1.5B,也不表示32B已经稳定。

8.后续测试前检查清单

• 停止高负载模型复测,先确认RTX 3090具体型号、散热器结构及风扇/水冷/强制风道。
• 执行 nvidia-smi --query-gpu=name,temperature.gpu,fan.speed,power.draw,power.limit --format=csv 并保存结果。
• 使用HWiNFO记录GPU核心、热点、显存结温、风扇转速及功耗最大值。
• 核对550W PSU型号、额定12V输出、3090所需PCIe电源接口及线缆连接,避免一根线缆分接多个高功率接口。
• 检查并更新/重装适合计算与创作场景的NVIDIA驱动;更新前保存当前驱动版本和事件日志。
• 确认空闲温度恢复正常后,先重复1.5B短时测试,验证整改前后温度差异。
• 仅在散热和供电风险处理后,按1.5B → 7B → 14B → 32B逐级测试,不跨级直接加压。
• 每一档记录:模型名、量化/大小、首Token时间、持续生成速度、显存、GPU利用率、功耗、核心/热点/显存温度、RDP/HDMI状态及Windows事件。

9. 建议的下一步测试步骤

10 常用命令

ollama list ollamapsollama run qwen2.5-coder:1.5b /bye ollama stop qwen2.5-coder:1.5b nvidia-smi --query-gpu=power.draw,temperature.gpu,utilization.gpu,memory.used,memory.total--format=csv-l1Get-WinEvent-FilterHashtable@{LogName='System'Level=1,2,3}-MaxEvents100|Select-Object TimeCreated, Id, ProviderName, LevelDisplayName, Message|Format-List

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询