FreeLLMAPI:34 家免费 LLM API 汇成一个 /v1 端点
【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi
FreeLLMAPI 把 34 家提供商的免费额度汇成同一个 OpenAI 兼容网关,按实时评分自动路由、限流时自动切换,密钥 AES-256-GCM 加密落地。跟着本文走一遍,约 10 分钟能装好并拿到第一条由免费池答出的回复。
先搞懂它怎么派单,再动手装
一句话:它不产生任何推理,只是个调度台——哪个池子里的模型此刻最靠谱、最快、最聪明,就把活派给它。具体流转是:
- 请求打到你本机的
/v1接口,路由器对回退链上所有启用模型逐一打分。评分来自近7 天实测数据,按2 天半衰期衰减,合成可靠性、速度、智能三项 - 得分最高的模型接单,响应里带
X-Routed-Via: 提供商/模型头,你随时能核对这次到底是谁答的 - 上游返回 429/5xx 时,这把密钥进入冷却,升级阶梯是2 分钟 → 10 分钟 → 1 小时 → 1 天,请求落到链上下一家
- 每次调用都记进按密钥的用量账(RPM/RPD/TPM/TPD),保证你不超任何一家免费上限
选模逻辑在 server/src/services/router.ts,评分公式和护栏细节看 docs/zh-cn/architecture/01-routing-and-bandit-scoring.md。
最短路径:一行命令装好并填上密钥
最省事的主路径需要 Docker,一条命令完成建目录、生成加密密钥、拉镜像、起容器,跑在3001端口,可重复执行:
curl -fsSL https://freellmapi.co/install.sh | bash✅ 装好后打开 http://localhost:3001 ,做三件事:
- 进密钥页,填上你手里的提供商密钥(Google AI Studio、Groq、Mistral 等,或任意 OpenAI 兼容端点)
- 在回退链里调整顺序,排前者优先被选中
- 从页头复制统一密钥(
freellmapi-开头),后面所有客户端只认这一把
然后去Playground页随便打一句话,气泡上会标出本次应答的提供商、模型与延迟,说明路由真的在转。🎉
其余两种方式,各两三行带过:
- Docker Compose:
git clone https://gitcode.com/GitHub_Trending/fr/freellmapi,进目录后生成 64 位十六进制ENCRYPTION_KEY写进.env(同时写PORT=3001),再docker compose up -d。SQLite 落在具名卷里,升级时密钥和卷都不能变。 - 桌面版:Releases 下载 macOS
.dmg或 Windows.exe,装完即用,无需账号密码,托盘悬浮窗里能看到实时请求统计。
完整分支与数据存放位置在 docs/zh-cn/install/01-install.md。
改两个参数,接进你现有的代码
现有代码只要走 OpenAI 协议,只动base_url和api_key两处:
from openai import OpenAI client = OpenAI( base_url="http://localhost:3001/v1", api_key="freellmapi-你的统一密钥", ) resp = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "介绍一下你自己"}], ) print(resp.choices[0].message.content)model写auto就交给路由器;写auto:fast、auto:smart、auto:reliable可以只偏重某一项评分,也可以直接填具体模型 id。手边有 Ollama、LM Studio 这类本地模型,在密钥页加一个自定义 OpenAI 兼容端点,它们就能和免费池一起参与路由。流式、工具调用、Embedding、图像与语音生成的完整清单在 docs/zh-cn/api/01-rest-api.md。
用一阵之后:日常动作和几个高频坑
日常看三张页:密钥页管提供商密钥、回退链和统一密钥;Models页是路由透视,列表顺序就是当前真实的路由顺序,整池月度 token 预算也在这里;Analytics页记账,延迟给到 p50/p95 与首 token 时间,分析数据默认保留90 天。
几个高频问题:
- 忘记密码?点登录页Forgot password?,一次性重置码直接打印在服务器日志里,15 分钟内有效
- 局域网别的设备打不开?端口默认只绑
127.0.0.1,启动时加HOST_BIND=0.0.0.0再暴露,仅限可信网络 - 日志在哪?Docker 用
docker compose logs -f freellmapi;桌面版在托盘菜单Open Logs Folder - 密钥安全吗?提供方密钥 AES-256-GCM 加密存本地 SQLite,每次请求才在内存里解密,仪表盘看不到明文
⚠️ 边界要讲清:这个免费池定位是个人实验与学习,没有 SLA;要上线的产品,发布前请把池子换成付费 API。
接下来可以顺手做的三件事
- 把编程智能体指过来:Claude Code、Codex CLI、Cline 等都有
npx freellmapi setup-*一条命令配方,见 docs/zh-cn/clients/01-agent-clients.md - 请求虚拟模型
fusion:多个免费模型并行起草,再由裁判模型合成一份答案,参与模型组在仪表盘Fusion页配置 - 想读源码的话,从 docs/zh-cn/architecture/01-routing-and-bandit-scoring.md 的评分公式入手,对照 server/src/services/router.ts 看分是怎么算、链是怎么走的
【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考