5 条命令跑通 FreeLLMAPI:34 家免费大模型 API 聚合路由器安装使用指南
【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi
手上有一堆大模型免费密钥,却要为每家单独记配额、换 SDK、写限流处理?FreeLLMAPI 把 34 家提供商的 635 个免费模型端点聚合成一个 OpenAI 兼容的/v1接口,限流自动换下一家。读完这篇,你能在本地跑起这个免费大模型 API,并发出第一条请求。
一句话说清 FreeLLMAPI 免费大模型 API 聚合路由器是什么
FreeLLMAPI 是个本地路由器:把 34 家提供商的免费密钥聚合成一个 OpenAI 兼容接口,限流自动换下一家,密钥加密存本地。关键数字如下,够你判断值不值得跑:
| 指标 | 数值 |
|---|---|
| 聚合提供商 | 34 家 |
| 免费模型端点 | 474 个模型家族,635 个端点 |
| 月度免费推理容量 | 约 74 亿 token |
| 对外接口 | 1 个/v1端点 |
最小部署:Docker Compose 5 条命令拉起 FreeLLMAPI 本地服务
前提一句话:装好 Docker、Docker Compose 和 OpenSSL 即可,不用 Node、不用配端口转发。
git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY="$(openssl rand -hex 32)" printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env docker compose up -d逐条说作用:
git clone …:拉取源码。cd freellmapi:进入项目目录。- 第 3 行:生成 64 位十六进制加密主密钥,用来加密你的提供商密钥。
- 第 4 行:把密钥和端口 3001 写进
.env,容器靠它启动。 docker compose up -d:后台拉起 API 和仪表盘。
成功标志:docker compose up -d打印容器启动完毕,docker compose ps里 freellmapi 容器状态是 running。
备选两条路:Windows 可丢进 WSL 执行同样命令,也可从 Releases 直接装桌面版.exe。本地开发用./scripts/dev-bootstrap.sh一条命令起服务,前提是 Node 20+。
跑通判定:Playground 收到回复就算生效
验证只需 3 步:
- 浏览器打开
http://localhost:3001。服务器版首次进入要设一个邮箱 + 密码账号,这是仪表盘登录,不是 API 密钥。 - 进 Keys 页加一把你手头的提供商密钥(Google AI Studio、Groq、Mistral 都行,任意 OpenAI 兼容端点也行),顺手在 Fallback Chain 里排一下优先顺序。
- 复制页顶部的统一密钥(
freellmapi-…格式),到 Playground 页发一句话。
通过标准:Playground 出现回复,且回复下方标明了实际应答的提供商、模型和延迟。页面打不开,先查容器是否在跑、端口是不是 3001;没有回复,用docker compose logs -f freellmapi看密钥健康状态。
核心机制:智能路由、统一密钥和 Fusion 各解决什么
智能路由:某家限流了请求不断
解决"某家提供商限流时请求别断"。路由器按速度、能力、可靠性三项实时打分,挑分数最高且没触限的模型应答;遇到 429 或 5xx,就把这把密钥冷却,自动重试链上下一家。
最短用法:请求里传model="auto",也支持auto:fast、auto:smart或具体模型名。确认方式:响应头X-Routed-Via写明谁真正处理了请求;Models 页的列表顺序就是此刻的真实路由顺序,每个模型挂着实时评分。
统一密钥:N 套提供商密钥收成一把
解决"管 N 套提供商密钥"的麻烦。真实密钥用 AES-256-GCM 加密存进本地 SQLite,每次请求时才在内存里解密;你的应用只接触一把统一freellmapi-…令牌,永远拿不到上游密钥。
from openai import OpenAI client = OpenAI( base_url="http://localhost:3001/v1", api_key="freellmapi-your-unified-key", ) resp = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "一句话总结罗马帝国的衰落"}], ) print(resp.choices[0].message.content)正常打印出内容即生效。Keys 页里每把密钥带健康状态点和最近体检时间,异常会直接标红。
Fusion 多模型合成:一份答案更稳
解决"单个免费模型能力一般、答得不够稳"。路由器把同一份提示词并行发给一组风格各异的免费模型各自起草,再交给一个评审模型综合成一份最终答案,每组子调用都正常走路由和配额统计。
最短用法:请求model="fusion",模型组和评审模型可在仪表盘 Fusion 页配置。确认方式:同一问题分别用单模型和 Fusion 各问一遍,对比信息密度和细节覆盖。
边界与避坑:哪些事它做不了,哪 4 个坑新手最容易踩
先划边界:它只适合个人实验与学习,别拿去做生产后端。免费层没有 SLA、没有前沿模型;上游提供商的服务条款对代理流量同样适用,真上线前换付费 API。
⚠️ 四个坑按"现象 → 原因 → 解法"排开:
- 忘了仪表盘密码。服务器版没有邮箱可发重置链接。登录页点「Forgot password」,一次性重置码直接打在服务端日志里,15 分钟有效,用
docker compose logs -f freellmapi翻出来填进重置表单。 - 局域网访问一直卡住。容器默认只发布在
127.0.0.1,别的设备打开http://服务器IP:3001永远加载不出来。用HOST_BIND=0.0.0.0 docker compose up -d重新发布;服务是单用户的,唯一防护就是那把统一密钥,只在可信网络里开放。 - 晚间回复质量明显变差。头部模型跑满每日配额后,傍晚到深夜整体智力下滑,UTC 午夜才重置。白天用没问题,别指望深夜跑重要任务。
- 升级后密钥全部解不开。
.env里的ENCRYPTION_KEY是解密静态密文的唯一钥匙,升级时密钥换了或数据卷丢了,所有已存提供商密钥都会失效。升级前备份.env,且保持freellmapi-data卷不动。细节在 安装与部署文档。
下一步:把编程智能体指过来,或接本地模型
两条路,跑通后都值得试:
- 把 Claude Code、Codex CLI 这类编程智能体指到这个免费池,每个工具都有一键配置命令,见 智能体客户端文档。
- 把 Ollama、vLLM 等本地模型当自定义 OpenAI 兼容端点接进 Keys 页,免费池和本地模型混着路由。流式、工具调用、Embedding、图像语音的完整接口见 API 参考。
【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考