☰
5 条命令跑通 FreeLLMAPI:34 家免费大模型 API 聚合路由器安装使用指南
2026/10/1 9:14:33 网站建设 项目流程

5 条命令跑通 FreeLLMAPI:34 家免费大模型 API 聚合路由器安装使用指南

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi

手上有一堆大模型免费密钥,却要为每家单独记配额、换 SDK、写限流处理?FreeLLMAPI 把 34 家提供商的 635 个免费模型端点聚合成一个 OpenAI 兼容的/v1接口,限流自动换下一家。读完这篇,你能在本地跑起这个免费大模型 API,并发出第一条请求。

一句话说清 FreeLLMAPI 免费大模型 API 聚合路由器是什么

FreeLLMAPI 是个本地路由器:把 34 家提供商的免费密钥聚合成一个 OpenAI 兼容接口,限流自动换下一家,密钥加密存本地。关键数字如下,够你判断值不值得跑:

指标数值
聚合提供商34 家
免费模型端点474 个模型家族,635 个端点
月度免费推理容量约 74 亿 token
对外接口1 个/v1端点

最小部署:Docker Compose 5 条命令拉起 FreeLLMAPI 本地服务

前提一句话:装好 Docker、Docker Compose 和 OpenSSL 即可,不用 Node、不用配端口转发。

git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY="$(openssl rand -hex 32)" printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env docker compose up -d

逐条说作用:

  1. git clone …:拉取源码。
  2. cd freellmapi:进入项目目录。
  3. 第 3 行:生成 64 位十六进制加密主密钥,用来加密你的提供商密钥。
  4. 第 4 行:把密钥和端口 3001 写进.env,容器靠它启动。
  5. docker compose up -d:后台拉起 API 和仪表盘。

成功标志:docker compose up -d打印容器启动完毕,docker compose ps里 freellmapi 容器状态是 running。

备选两条路:Windows 可丢进 WSL 执行同样命令,也可从 Releases 直接装桌面版.exe。本地开发用./scripts/dev-bootstrap.sh一条命令起服务,前提是 Node 20+。

跑通判定:Playground 收到回复就算生效

验证只需 3 步:

  1. 浏览器打开http://localhost:3001。服务器版首次进入要设一个邮箱 + 密码账号,这是仪表盘登录,不是 API 密钥。
  2. 进 Keys 页加一把你手头的提供商密钥(Google AI Studio、Groq、Mistral 都行,任意 OpenAI 兼容端点也行),顺手在 Fallback Chain 里排一下优先顺序。
  3. 复制页顶部的统一密钥(freellmapi-…格式),到 Playground 页发一句话。

通过标准:Playground 出现回复,且回复下方标明了实际应答的提供商、模型和延迟。页面打不开,先查容器是否在跑、端口是不是 3001;没有回复,用docker compose logs -f freellmapi看密钥健康状态。

核心机制:智能路由、统一密钥和 Fusion 各解决什么

智能路由:某家限流了请求不断

解决"某家提供商限流时请求别断"。路由器按速度、能力、可靠性三项实时打分,挑分数最高且没触限的模型应答;遇到 429 或 5xx,就把这把密钥冷却,自动重试链上下一家。

最短用法:请求里传model="auto",也支持auto:fast、auto:smart或具体模型名。确认方式:响应头X-Routed-Via写明谁真正处理了请求;Models 页的列表顺序就是此刻的真实路由顺序,每个模型挂着实时评分。

统一密钥:N 套提供商密钥收成一把

解决"管 N 套提供商密钥"的麻烦。真实密钥用 AES-256-GCM 加密存进本地 SQLite,每次请求时才在内存里解密;你的应用只接触一把统一freellmapi-…令牌,永远拿不到上游密钥。

from openai import OpenAI client = OpenAI( base_url="http://localhost:3001/v1", api_key="freellmapi-your-unified-key", ) resp = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "一句话总结罗马帝国的衰落"}], ) print(resp.choices[0].message.content)

正常打印出内容即生效。Keys 页里每把密钥带健康状态点和最近体检时间,异常会直接标红。

Fusion 多模型合成:一份答案更稳

解决"单个免费模型能力一般、答得不够稳"。路由器把同一份提示词并行发给一组风格各异的免费模型各自起草,再交给一个评审模型综合成一份最终答案,每组子调用都正常走路由和配额统计。

最短用法:请求model="fusion",模型组和评审模型可在仪表盘 Fusion 页配置。确认方式:同一问题分别用单模型和 Fusion 各问一遍,对比信息密度和细节覆盖。

边界与避坑:哪些事它做不了,哪 4 个坑新手最容易踩

先划边界:它只适合个人实验与学习,别拿去做生产后端。免费层没有 SLA、没有前沿模型;上游提供商的服务条款对代理流量同样适用,真上线前换付费 API。

⚠️ 四个坑按"现象 → 原因 → 解法"排开:

  • 忘了仪表盘密码。服务器版没有邮箱可发重置链接。登录页点「Forgot password」,一次性重置码直接打在服务端日志里,15 分钟有效,用docker compose logs -f freellmapi翻出来填进重置表单。
  • 局域网访问一直卡住。容器默认只发布在127.0.0.1,别的设备打开http://服务器IP:3001永远加载不出来。用HOST_BIND=0.0.0.0 docker compose up -d重新发布;服务是单用户的,唯一防护就是那把统一密钥,只在可信网络里开放。
  • 晚间回复质量明显变差。头部模型跑满每日配额后,傍晚到深夜整体智力下滑,UTC 午夜才重置。白天用没问题,别指望深夜跑重要任务。
  • 升级后密钥全部解不开。.env里的ENCRYPTION_KEY是解密静态密文的唯一钥匙,升级时密钥换了或数据卷丢了,所有已存提供商密钥都会失效。升级前备份.env,且保持freellmapi-data卷不动。细节在 安装与部署文档。

下一步:把编程智能体指过来,或接本地模型

两条路,跑通后都值得试:

  1. 把 Claude Code、Codex CLI 这类编程智能体指到这个免费池,每个工具都有一键配置命令,见 智能体客户端文档。
  2. 把 Ollama、vLLM 等本地模型当自定义 OpenAI 兼容端点接进 Keys 页,免费池和本地模型混着路由。流式、工具调用、Embedding、图像语音的完整接口见 API 参考。

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询