🌟🌌 欢迎来到知识与创意的殿堂 — 远见阁小民的世界!🚀
🌟🧭 在这里,我们一起探索技术的奥秘,一起在知识的海洋中遨游。
🌟🧭 在这里,每个错误都是成长的阶梯,每条建议都是前进的动力。
🌟🧭 在这里,我们一起成长,一起进步,让我们在知识的世界里畅游无阻,共同创造一个充满智慧和创新的明天。
🌟📚 点击关注,加入我们的技术探索之旅吧!❤️📖✨
✨博客主页:远见阁小民的主页
📕本文专栏:AI专栏
📕其他专栏:后端专栏 Linux专栏 白帽学徒笔记
用DeepSeek API,一个月下来几十块,说实话用多了还真有点心疼。
有没有不花钱的办法?
有!本地跑Ollama,一分不用花,断网都能用。
但我又不想完全放弃DeepSeek,有些问题本地模型确实搞不定。
折腾了大半天,终于在Dify里把两个都接上了;现在一个应用里,云端和本地模型随便切。
下面把步骤和踩过的坑记下来,希望对你有用。
我是小民,分享我跑通过的AI实操
1. 先说背景
我平时用Dify搭一些AI小应用,大部分时候调DeepSeek的API就够了,便宜还好用。
但有些场景涉及内部数据,不想走云端,就想着能不能本地也跑个模型,在Dify里随时切换。
Dify本身支持多个模型供应商,DeepSeek和Ollama都能接。
问题是——接上去不难,但有几个坑不亲自踩一遍根本不知道。
下面说说我是怎么弄的👇
我的电脑配置
先说一下我的电脑情况,给你个参考:
- CPU:i7-12700
- 内存:32GB
- 显卡:集成显卡UHD 770(没有独显)
- 硬盘:SSD + HDD
没有独立显卡,纯靠CPU跑,32GB内存跑7B模型完全够用。
如果你电脑配置比我高(有独显、内存更大),跑起来会更流畅。
如果配置低一些(比如16GB内存),可以选更小的模型(比如1.5B),也一样能玩。
2. 开始折腾
第一步:安装Ollama
去Ollama官网下载安装包
下载地址:https://ollama.com/download
按提示装就行
装完后打开终端,验证一下
拉一个模型,我用的是DeepSeek-R1:7B
ollama pull DeepSeek-R1:7B大概4个多G,等它下完
第二步:Dify里接Ollama
打开Dify后台,点「右上角」➔「设置」➔「模型供应商」
搜索Ollama➔点「安装」
安装完成
点「添加模型」
开始填配置
翻车了,点「添加」报错🤣
我的环境是这样的:
- Dify部署在虚拟机,地址:192.168.1.4
- Ollama部署在电脑上,地址:192.168.1.5
尝试把Ollama的基础URL改成:http://192.168.1.5:11434
,还是报错
经过一番折腾,发现还需要确认两件事👇
1. 配置Ollama允许外部访问
默认情况下,Ollama只允许本机访问(127.0.0.1),需要让它监听0.0.0.0,这样其他设备才能连。
设置方法(Windows):
在电脑上打开CMD命令行
设置环境变量后启动Ollama
set OLLAMA_HOST=0.0.0.0:11434 ollama serve2. 处理Windows防火墙
Windows防火墙默认会拦截外部访问。
我比较粗暴,直接把防火墙关了,你也可以单独放行11434端口。
打开浏览器测一下,没问题了
回过头来再去配置,这次就成功了
Dify里接DeepSeek API,这个简单很多
先去DeepSeek开放平台注册,拿到API Key
然后在Dify「模型供应商」里找到DeepSeek,点「安装」,之前文章写过,这里就不展开说了
第三步:看效果
在Dify里新建一个聊天应用
模型下拉框里应该能看到两个选项,随便切
分别问一句「你好」👇
DeepSeek云端
Ollama本地
能切能聊,没问题
踩坑记录
坑1
Dify连不上Ollama,报Connection refused
填Ollama所在电脑的局域网IP,比如http://你电脑IP:11434,别填localhost
坑2
改了IP还是连不上
在Ollama电脑上设置环境变量OLLAMA_HOST=0.0.0.0:11434,然后重启ollama serve
坑3
windows防火墙拦截
粗暴点,把防火墙关了,或者单独放行11434端口
总结
Dify接DeepSeek和Ollama,核心就一件事——让Dify能找到你的Ollama。
不在同一台机器,就得填对IP、关防火墙、让Ollama监听外部。
核心收获
- 云端用DeepSeek,便宜够用;敏感数据切本地Ollama,灵活隐私
- Dify里多个模型可以共存,一个应用里随便切
- 虚拟机和本机互通时,localhost不管用,要用局域网IP
电脑配置参考
- 7B模型:16GB内存起步,我32GB纯CPU跑,基本流畅
- 1.5B小模型:8GB内存也能玩
- 独显不是必须的,有会更快,没有也能跑