企业官网建设流程全解析

WorkBuddy 免费接本地 Nex-N2.5-Pro：Ollama 保姆级配置，积分消耗直接打骨折

【免费下载链接】Nex-N2.5-Pro项目地址: https://ai.gitcode.com/hf_mirrors/nex-agi/Nex-N2.5-Pro

AI 智能体工具用起来顺手，但"顺手"的代价往往是账单。以 WorkBuddy 为代表的一批编排类 AI 工作台，把任务规划、工具调用、多轮交互全部交给云端大模型，一次深度任务动辄消耗数万 token，积分余额肉眼可见地见底。社区里最近流传开来的玩法是：把 WorkBuddy 的推理层从云端摘下来，挂到本地 Ollama 上——编排能力保持不变，token 积分几乎归零。这套方案的可行性依据来自 Nex-N2.5-Pro 这类开源智能体模型的开放生态：模型权重 Apache 2.0 开放、推理服务提供 OpenAI 兼容接口、工具调用协议标准化。本文结合 Nex-N2.5-Pro 仓库源码，给出从原理到落地的完整配置路径。

为什么"免费"成立：编排层与推理层分离

先拆解 WorkBuddy 这类智能体工作台的成本结构。它本质上是一个**编排层（Orchestration）+ 推理层（Inference）**的双层系统：编排层负责理解用户意图、拆解任务、调度工具，推理层负责真正生成文本与调用决策。默认配置下两层都在云端，因此每一次思考、每一次工具调用的确认，都要按 token 计费。

本地接入的思路很直接——把推理层的 API 地址从云端服务商换成localhost。Ollama 从 0.1.27 起内置 OpenAI 兼容端点/v1，WorkBuddy 这类客户端只需修改 base_url 与模型名即可完成切换，编排层代码一行不用动。对大量"任务拆解 + 工具调用确认"的固定模式请求而言，本地推理不消耗任何云端积分，这就是"打骨折"的机制来源。

Nex-N2.5-Pro 之所以适合做这套方案的模型底座，从仓库 config.json 可以找到硬证据：architectures为Qwen3_5MoeForConditionalGeneration，model_type为qwen3_5_moe，属于标准的 transformers 生态模型，同时quantization_config显示权重已按compressed-tensors的 FP8_BLOCK 方案量化（128×128 块、8 bit、group 粒度），这意味着模型文件对显存和带宽的要求比 BF16 原版显著更低，是"本地可承载"的前提之一。

认识 Nex-N2.5-Pro：它是为"干活"训练的

在动手配置之前，值得先明确接入的模型能带来什么。Nex-N2.5-Pro 是 Nex-N2.5 家族（mini / Pro / Max）中的多模态智能体档位，仓库 README.md 的定义是 "built for long-horizon tasks in real-world environments"——面向真实环境中的长时程任务。它不只是"会聊天"，而是把视觉变成了智能体感知与验证环境的接口：操作电脑、浏览网页、执行并测试程序、通过视觉反馈自我纠错。

从 config.json 可以看到它的体量与设计取向：

• MoE 稀疏激活：512 个专家、每个 token 激活 10 个，配合共享专家（shared_expert_intermediate_size），在保持大容量知识的同时压低单 token 计算量；
• 60 层混合注意力：layer_types中线性注意力（linear_attention）与全注意力（full_attention）按 3:1 交替，线性注意力层显著降低长序列下的 KV 缓存开销；
• 256K 上下文：max_position_embeddings: 262144，长文档、长任务日志、多轮工具调用都能装进一次会话；
• 真多模态：vision_config定义了 27 层视觉编码器（patch 16、时间 patch 2），processor_config.json中同时配置了图像处理器与视频处理器（支持 2fps 采样、最长 768 帧），即图像与视频都可作为智能体输入。

性能方面，README 给出了与当前头部模型的对照数据。只看 Pro 档的关键项：Terminal-Bench 2.1 得分 82.7、SWE-Bench Pro 61.2、Toolathlon Verified 68.5、BrowseComp 89.7；多模态与计算机操作维度，OSWorld-Verified 82.2、OSWorld-G 87.4、WebArena-Verified 67.6、OmniDoc 92.2。这些数字说明它的强项正是"边看边操作"的智能体场景——和 WorkBuddy 的定位高度重合。

值得强调的是它的工程化设计：采样参数推荐temperature 0.7 / top_p 0.95 / top_k 40（README 明确给出）；支持reasoning_effort三档思考模式（none直答、medium自适应思考、high强制思考）；工具调用格式在 chat_template.jinja 中固化为<tool_call><function=...><parameter=...>的 XML 结构，并支持多步工具调用（multi-step tool）。这些特性决定了它接入 WorkBuddy 后"既能想、又能调工具"。

保姆级配置：Ollama 部署与 OpenAI 兼容端点

第一步：环境准备

Ollama 的部署目标可以是社区教程中常见的 ARM + NPU 低功耗一体设备，也可以是任何一台有 8GB 以上内存的 x86 机器。先完成基础安装：

# macOS / Linux 一键安装 curl -fsSL https://ollama.com/install.sh | sh # Windows 用户直接下载安装包，或使用 WSL2 ollama serve # 确认服务默认监听 11434 端口

第二步：拉取模型

对 WorkBuddy 的日常编排任务（任务拆解、摘要、格式化、工具调用确认），社区教程验证过的qwen2.5:7b与qwen2.5:3b是性价比很高的起点；如果机器配置充裕、希望获得更强的智能体能力，可进一步尝试 Nex-N2.5 系列的 GGUF 量化版（mini 档）或直接看下文第四节的 SGLang 方案：

ollama pull qwen2.5:7b ollama list # 确认模型已就绪

第三步：验证 OpenAI 兼容接口

Ollama 启动后即暴露/v1兼容端点，WorkBuddy 不需要任何 Ollama 私有协议适配：

curl http://localhost:11434/v1/models curl http://localhost:11434/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"ping"}]}'

返回正常的 JSON 结构即表示本地推理链路已通。若希望局域网内的其他机器（如另一台跑 WorkBuddy 的笔记本）也能访问，可将 Ollama 服务绑定到0.0.0.0并放行 11434 端口——但注意这只是内网玩具级配置，公网暴露必须加反向代理鉴权。

第四步：WorkBuddy 切换后端

在 WorkBuddy 的模型设置中新建一个"自定义/本地"供应商：

• API Base URL：http://localhost:11434/v1（远程场景填http://<内网IP>:11434/v1）
• API Key：任意占位字符串（Ollama 默认不做鉴权，但客户端一般要求非空）
• 模型名：qwen2.5:7b（与ollama list中的名称完全一致）

切换后发起一个任务：WorkBuddy 的编排层依旧运行，但每一次推理都发生在本地，云端积分不再随任务推进被扣减。

升级路径：真跑 Nex-N2.5-Pro 的 SGLang 方案

如果对能力有更高要求，仓库官方给出的 Nex-N2.5-Pro 部署方案是基于定制版 SGLang 的 Docker 镜像nexagi/sglang:v0.5.18-nex-patch，单机 8×H100：

docker run --gpus all --shm-size 32g --ipc=host \ -p 30000:30000 \ -v /path/to/your/model:/model \ nexagi/sglang:v0.5.18-nex-patch \ python3 -m sglang.launch_server \ --model-path /model \ --tp 8 \ --host 0.0.0.0 --port 30000 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --chat-template /path/to/nex-N2.5-Pro/chat_template.jinja \ --mamba-scheduler-strategy extra_buffer

注意两个关键参数：--tool-call-parser qwen3_coder开启函数调用解析（对应 chat_template.jinja 中的<tool_call>输出协议）；--reasoning-parser qwen3将模型输出的<think>推理轨迹与最终回答分离，WorkBuddy 拿到的是干净的最终结果。启动后同样暴露 OpenAI 兼容的/v1/chat/completions（端口 30000），在 WorkBuddy 中把 base_url 指过来即可，接入逻辑与 Ollama 完全一致。对于算力有限的个人开发者，mini 档只需 2×H100（命令见 README.md），是更现实的过渡选择。

备用云端模型：兜底而不破防

本地推理并非万能：极复杂的推理任务、多模态长视频分析，或本地服务宕机时，纯本地方案会露怯。合理的架构是本地优先、云端兜底：

1. WorkBuddy 主模型设为本地端点（默认零积分）；
2. 在 WorkBuddy 的"备用/降级"配置中保留云端模型（如云端 Nex-N2.5-Pro，或你原本的付费模型）；
3. 日常任务全部走本地；当任务超时、上下文超限或本地进程异常时，WorkBuddy 自动降级到云端模型完成本轮任务。

这样既能把 90% 以上的固定模式请求留在本地，积分消耗大幅下降，又在关键任务上保留云端大模型的完整能力。社区教程中同样建议保留这一层，属于"降本不降可靠性"的标准姿势。

MCP 扩展挂载与工具调用对齐

WorkBuddy 的一大卖点是 MCP 工具生态——文件系统、浏览器、代码执行器等工具通过 MCP 协议挂载。要让本地模型真正"会用"这些工具，关键不在 WorkBuddy 侧，而在模型侧的协议对齐。Nex-N2.5 系列在这一点上做了原生适配：

• chat_template.jinja 在 system 段注入完整工具清单（<tools>块），并把工具调用约束为<tool_call><function=名称><parameter=参数名>值</parameter></function></tool_call>的严格格式，且要求"先自然语言说明再调用，禁止调用后追加说明"——这套规范与 MCP 工具的确定性调用需求完全匹配；
• 模板支持多轮 tool_response 回传（<tool_response>包裹），这正是 MCP 工具链中"模型调用工具 → 工具返回结果 → 模型继续推理"的循环骨架；
• tokenizer_config.json 中chat_template内嵌了同一套逻辑，保证 transformers 与 SGLang 两条推理路径行为一致。

实操层面，把 MCP 服务器（如filesystem、playwright）挂到 WorkBuddy 后，在本地模型的采样参数中建议显式设置 README 推荐的temperature=0.7, top_p=0.95, top_k=40，避免高温度导致的工具调用格式漂移。若发现模型偶尔输出非结构化文本而不是<tool_call>，优先检查本地服务的--tool-call-parser是否开启，而不是怀疑模型能力。

常见问题与避坑清单

• 连不上本地端点：确认ollama serve存活、端口未被占用；远程访问场景确认防火墙与OLLAMA_HOST环境变量。
• 上下文超限：本地小模型（3b/7b）的上下文窗口远小于 Nex-N2.5 的 256K。长文档任务建议先做切片或摘要，把完整文件喂给本地 7b 模型容易直接报错。
• 工具调用格式错乱：优先检查--tool-call-parser qwen3_coder与--reasoning-parser qwen3是否在启动命令中；Ollama 路径下确认模型本身支持工具调用（qwen2.5系支持原生 function calling）。
• 首次加载慢：FP8 量化模型的冷启动需要把权重读入显存，8×H100 部署 Nex-N2.5-Pro 时预留充足--shm-size；个人设备第一次拉取 GGUF 也要耐心等待下载完成。
• "免费"的边界：本地推理省的是云端 token 积分，电费与硬件折旧是实际成本；7b 档模型适合高频简单任务，真正复杂的智能体任务仍建议按任务价值决定是否走云端备用模型。

把 WorkBuddy 接到本地，本质上是把"按 token 付费的推理"换成了"一次性的硬件投入"——对于每天高频使用智能体工具的用户，这个置换几乎总是划算的。而 Nex-N2.5-Pro 这类 Apache 2.0 开源模型的存在，让这条路径从"妥协方案"变成了"能力增强方案"：256K 上下文、稀疏 MoE、视觉感知与原生工具调用协议，恰好覆盖了编排型工作台对底座模型的全部核心要求。配置链路短、协议标准、源码可查，剩下的就交给你的硬件了。

【免费下载链接】Nex-N2.5-Pro项目地址: https://ai.gitcode.com/hf_mirrors/nex-agi/Nex-N2.5-Pro