☰
部署和调用大模型
2026/9/28 5:29:55 网站建设 项目流程

网络基础知识

1、IP地址:设备在互联网中的地址(唯一身份),每个连入网络的设备都有一个自己的IP地址,用来定位设备在互联网中的位置;127.0.0.1是一个特殊的IP地址,表示本机地址

IPV4:32位二进制 IPV6:128位二进制

2、域名:由一串用点分隔的英文字母组成的,目的是为了解决IP地址不便记忆的问题,通过DNS(域名解析服务器)来将域名和IP地址相互映射,便于记忆和访问。如baidu.com

3、端口:取值0~65535,用来标识计算机设备中的运行中的程序

一、本地部署大模型

1、概念

将大模型部署到我们的本地电脑或者自己的服务器

2、优缺点

优点:数据安全、自主可控、长期成本低

缺点:初始成本高、需长期维护、性能受限

3、部署方法

最简单的就是用ollama工具进行部署,ollama是一个在本地运行、管理大语言模型的工具。

官网:https://ollama.com/,在官网下载这个工具

下载好之后,打开终端输入:

ollama run 大模型名称

如果是第一次用这个大模型,它会自动联网并下载这个大模型,然后就可以对话了

二、官方开放API

1、概念

API:应用程序编程接口,是软件间的标准化的 “桥梁”,允许开发者无需知晓内部细节就可以调用外部功能和数据,如deepseek、星火等

2、优缺点

优点:前期成本低、无需部署和维护、即时访问

缺点:隐私不能保障、长期成本高、可控性差

3、调用方法

(1)我们以deepseek为例,首先注册deepseek平台账号,充值并去申请一个API Key,作为身份令牌

(2)下一步直接在官方调用文档的网站中选择调用方式,直接复制代码,如下deepseek

# Please install OpenAI SDK first: `pip3 install openai` import os from openai import OpenAI #创建与API交互的客户端,DEEPSEEK_API_KEY就是环境变量的信息 client = OpenAI(api_key=os.environ.get('DEEPSEEK_API_KEY'),base_url="https://api.deepseek.com") #与AI大模型进行交互 response = client.chat.completions.create( model="deepseek-flash", messages=[ {"role": "system", "content": "你是一名非常可爱的AI助理,你的名字小小甜甜,请你用温柔可爱的语气回答客户的问题"}, {"role": "user", "content": "你是谁,你能帮我什么"}, ], stream=False, reasoning_effort="high", extra_body={"thinking": {"type": "enabled"}} ) #s 输出大模型返回的结果 print(response.choices[0].message.content)

(3)DEEPSEEK_API_KEY的环境变量配置:

第一种方法:全局配置

右键 “ 此电脑 ” -> 点击 “ 属性 ” -> 点击 “ 高级系统设置 ” -> 点击 “ 高级 ” -> 点击 " 环境变量 "

-> 在系统变量点击 “ 新建 ” -> 起一个变量名 -> 变量值就是你申请的API Key就可以进行对话了

第二种方法:.env文件

我们在项目目录下创建一个.env文件,输入 DEEPSEEK_API_KEY=你的key(注意不要打多余的空格),然后再下载第三方库(读取env文件):pip install python-dotenv 并导入load_dotenv函数

# Please install OpenAI SDK first: `pip3 install openai` import os from openai import OpenAI from dotenv import load_dotenv # 加载 .env 文件里面的环境变量 load_dotenv('config.env') #读取密钥 api_key = os.getenv("DEEPSEEK_API_KEY") #创建与API交互的客户端,DEEPSEEK_API_KEY就是环境变量的信息 client = OpenAI(api_key=api_key,base_url="https://api.deepseek.com/v1") response = client.chat.completions.create( model="deepseek-flash", messages=[ {"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "Hello"}, ], stream=False, reasoning_effort="high", extra_body={"thinking": {"type": "enabled"}} ) print(response.choices[0].message.content)

三、云服务平台

1、概念

阿里云百炼、百度千帆、火山引擎平台等云服务平台,只需要开通账号,给服务器平台付费就行都是人家部署好的

2、优缺点

优点:前期成本低、无需部署和维护、选择度高

缺点:安全及隐私不能保障、长期成本高

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询