☰
FreeLLMAPI:34 家免费 LLM API 汇成一个 /v1 端点
2026/10/19 6:51:08 网站建设 项目流程

FreeLLMAPI:34 家免费 LLM API 汇成一个 /v1 端点

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi

FreeLLMAPI 把 34 家提供商的免费额度汇成同一个 OpenAI 兼容网关,按实时评分自动路由、限流时自动切换,密钥 AES-256-GCM 加密落地。跟着本文走一遍,约 10 分钟能装好并拿到第一条由免费池答出的回复。

先搞懂它怎么派单,再动手装

一句话:它不产生任何推理,只是个调度台——哪个池子里的模型此刻最靠谱、最快、最聪明,就把活派给它。具体流转是:

  1. 请求打到你本机的/v1接口,路由器对回退链上所有启用模型逐一打分。评分来自近7 天实测数据,按2 天半衰期衰减,合成可靠性、速度、智能三项
  2. 得分最高的模型接单,响应里带X-Routed-Via: 提供商/模型头,你随时能核对这次到底是谁答的
  3. 上游返回 429/5xx 时,这把密钥进入冷却,升级阶梯是2 分钟 → 10 分钟 → 1 小时 → 1 天,请求落到链上下一家
  4. 每次调用都记进按密钥的用量账(RPM/RPD/TPM/TPD),保证你不超任何一家免费上限

选模逻辑在 server/src/services/router.ts,评分公式和护栏细节看 docs/zh-cn/architecture/01-routing-and-bandit-scoring.md。

最短路径:一行命令装好并填上密钥

最省事的主路径需要 Docker,一条命令完成建目录、生成加密密钥、拉镜像、起容器,跑在3001端口,可重复执行:

curl -fsSL https://freellmapi.co/install.sh | bash

✅ 装好后打开 http://localhost:3001 ,做三件事:

  • 进密钥页,填上你手里的提供商密钥(Google AI Studio、Groq、Mistral 等,或任意 OpenAI 兼容端点)
  • 在回退链里调整顺序,排前者优先被选中
  • 从页头复制统一密钥(freellmapi-开头),后面所有客户端只认这一把

然后去Playground页随便打一句话,气泡上会标出本次应答的提供商、模型与延迟,说明路由真的在转。🎉

其余两种方式,各两三行带过:

  • Docker Compose:git clone https://gitcode.com/GitHub_Trending/fr/freellmapi,进目录后生成 64 位十六进制ENCRYPTION_KEY写进.env(同时写PORT=3001),再docker compose up -d。SQLite 落在具名卷里,升级时密钥和卷都不能变。
  • 桌面版:Releases 下载 macOS.dmg或 Windows.exe,装完即用,无需账号密码,托盘悬浮窗里能看到实时请求统计。

完整分支与数据存放位置在 docs/zh-cn/install/01-install.md。

改两个参数,接进你现有的代码

现有代码只要走 OpenAI 协议,只动base_url和api_key两处:

from openai import OpenAI client = OpenAI( base_url="http://localhost:3001/v1", api_key="freellmapi-你的统一密钥", ) resp = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "介绍一下你自己"}], ) print(resp.choices[0].message.content)

model写auto就交给路由器;写auto:fast、auto:smart、auto:reliable可以只偏重某一项评分,也可以直接填具体模型 id。手边有 Ollama、LM Studio 这类本地模型,在密钥页加一个自定义 OpenAI 兼容端点,它们就能和免费池一起参与路由。流式、工具调用、Embedding、图像与语音生成的完整清单在 docs/zh-cn/api/01-rest-api.md。

用一阵之后:日常动作和几个高频坑

日常看三张页:密钥页管提供商密钥、回退链和统一密钥;Models页是路由透视,列表顺序就是当前真实的路由顺序,整池月度 token 预算也在这里;Analytics页记账,延迟给到 p50/p95 与首 token 时间,分析数据默认保留90 天。

几个高频问题:

  • 忘记密码?点登录页Forgot password?,一次性重置码直接打印在服务器日志里,15 分钟内有效
  • 局域网别的设备打不开?端口默认只绑127.0.0.1,启动时加HOST_BIND=0.0.0.0再暴露,仅限可信网络
  • 日志在哪?Docker 用docker compose logs -f freellmapi;桌面版在托盘菜单Open Logs Folder
  • 密钥安全吗?提供方密钥 AES-256-GCM 加密存本地 SQLite,每次请求才在内存里解密,仪表盘看不到明文

⚠️ 边界要讲清:这个免费池定位是个人实验与学习,没有 SLA;要上线的产品,发布前请把池子换成付费 API。

接下来可以顺手做的三件事

  • 把编程智能体指过来:Claude Code、Codex CLI、Cline 等都有npx freellmapi setup-*一条命令配方,见 docs/zh-cn/clients/01-agent-clients.md
  • 请求虚拟模型fusion:多个免费模型并行起草,再由裁判模型合成一份答案,参与模型组在仪表盘Fusion页配置
  • 想读源码的话,从 docs/zh-cn/architecture/01-routing-and-bandit-scoring.md 的评分公式入手,对照 server/src/services/router.ts 看分是怎么算、链是怎么走的

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询