linux离线安装ollama部署qwen3.6
2026/6/2 16:28:01 网站建设 项目流程

内网没办法直连,只能从官方下载安装包
https://github.com/ollama/ollamahttps://github.com/ollama/ollama

安装参考了
https://www.jb51.net/ai/1027756.htmlhttps://www.jb51.net/ai/1027756.html教程都差不多

--------------------------------------------------------------------------------------------------------------------------------

20260601

因为服务器连不上外网,使用这两种方法曲线安装

一.在win迁移到linux

先在ollama下载模型,然后把下载下来的文件上传到你的服务器

模型是F:\ollama\models\blobs下的sha256-****文件

然后要通过 ollama show <model-name> --modelfile > nihao.mf导出一个配置文件

上传到服务器后要放在相同目录下,一般是/usr/share/ollama/.ollama/models/blobs

然后ollama create <model-name> -f ./nihao.mf生成模型

就可以run起来了,具体的ctx长度也是在那个文件配置(记得修改里面的from目录)

https://zhuanlan.zhihu.com/p/21135753631https://zhuanlan.zhihu.com/p/21135753631

二.在modelscope下载gguf

这个下载下来是gguf文件,和方法一的sha256文件是类似的用法。

有些新模型框架不能加载就是ollama太旧(要更新ollama),而且ollama只能用gguf格式的

下载完模型后需要ModelFIle

https://modelscope.cn/models/unsloth/Qwen3.6-35B-A3B-GGUF/feedbackhttps://modelscope.cn/models/unsloth/Qwen3.6-35B-A3B-GGUF/feedback在我启动之后发现模型胡言乱语,就参考了大佬的配置

需要在ModelFile中写入两个非标参数: RENDERER qwen3.5 PARSER qwen3.5 完整的ModelFile示例: FROM Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf TEMPLATE {{ .Prompt }} RENDERER qwen3.5 PARSER qwen3.5 PARAMETER temperature 1 PARAMETER top_k 20 PARAMETER top_p 0.95 PARAMETER min_p 0 PARAMETER presence_penalty 1.5 PARAMETER repeat_penalty 1

然后就能跑起来了

--------------------------------------------------------------------------------------------------------------------------------
小白做备忘记录使用

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询