企业官网建设流程全解析

LocalAI 部署完整指南：从 CPU 到 GPU 的 3 条硬件路径

【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI

这份备忘写给需要在自己机器上跑 LLM、图像、语音模型的同事：LocalAI 是一个能运行任意模型（无需 GPU）的开源 AI 引擎。按 LocalAI 本地部署路径对照自己的硬件情况选一条，当场验证服务是否可用。

能力边界

LocalAI 负责 LLM、视觉、语音、图像、视频五类模型的本地推理，并暴露 OpenAI 兼容 API，现有云调用可以平替。边界也说清楚：它是本地推理引擎，不面向给大量外部线上用户提供高并发服务的场景，有这种需求需要自行评估部署方式。如果你的模型只需要在本机跑，十秒内就可以决定：用，直接往下走。

LocalAI 本地部署的 3 条落地路径

纯 CPU 笔记本：选一键脚本，它会自动装好全部依赖。

脚本在受限网络下可能失败，失败就改用源码路径：

curl https://localai.io/install.sh | sh

注意：脚本跑完后直接启动 LocalAI 即可，无需手动配置容器。

有 N 卡的工作站：用 Docker 的 GPU 镜像，一条命令起容器。

docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-aio-gpu-nvidia-cuda-12

注意：--gpus all要求宿主机有 NVIDIA 驱动且容器已启用 GPU，没有显卡就换用localai/localai:latest-aio-cpu这个 CPU 镜像。

需要二开的开发者：走源码编译，适合读代码和改后端。

git clone https://gitcode.com/GitHub_Trending/lo/LocalAI cd LocalAI make build ./local-ai

注意：这条路径构建耗时最长，首次只需确认make build能通过。

首次运行验证

服务默认监听 8080 端口。启动后最省事的存活确认，是在终端打一次模型列表：

curl http://localhost:8080/v1/models

返回 JSON 模型列表就说明链路通了；返回连接被拒绝，先确认进程是否还在。也可以在浏览器直接访问 http://localhost:8080 查看。

LocalAI settings.yml 关键配置速查

实际会动手改的只有 4 个参数，都写在 settings.yml：

最小可用案例：Streamlit 聊天机器人

最轻量的示例是 Streamlit 聊天机器人，用示例目录自带的 docker-compose 直接起，不需要写任何代码：

cd examples/streamlit-bot docker-compose up -d

启动后访问 http://localhost:8501 进入对话界面，效果类似下图：

LocalAI 部署的 3 个常见卡点

1. 8080 端口连不上→ 原因：默认端口被其他服务占用 → 在 settings.yml 里改api.port，或调整 docker 启动时的宿主端口映射。
2. --gpus参数报错→ 原因：宿主机没有 NVIDIA 驱动或容器未启用 GPU → 换用localai/localai:latest-aio-cpu镜像，项目本身不依赖 GPU 也能跑。
3. 找不到模型→ 原因：model.path指向的目录里没有模型文件 → 把模型放到该目录，或把参数改成模型实际存放路径。

资源与社区

• 官方文档：docs/
• 示例项目：examples/
• 模型配置模板：gallery/
• 项目说明与社区入口（GitHub 讨论区、Discord）：README.md

以上覆盖首次部署，settings.yml 的完整参数与高级功能以 docs/ 目录为准。

【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI