企业官网建设流程全解析

第 09 课 | 嵌入模型 BGE 本地部署：让机器理解语义

前 8 课我们学会了让 LLM 说话，这节课开始，我们让机器真正"理解"文本——不是关键词匹配，而是语义理解。这是 RAG 的核心基础。

一、什么是嵌入，为什么需要它

1.1 一个真实的业务场景

假设你在做竞品监控。你的系统每天爬取 10000 条新闻，但你要从中找出"和我产品最相关的 50 条"。怎么做？

方案 A：关键词匹配。在新闻里搜索你的产品名、竞品名、行业关键词。问题很明显——很多相关新闻用的不是这些关键词，而是近义词、同义表达。比如你搜"蓝牙耳机"，但新闻里写的是"无线耳塞"，关键词匹配就漏掉了。

方案 B：语义搜索。把所有新闻变成向量，把查询也变成向量，找到向量最相近的新闻。因为语义相近的文本，它们的向量也相近——不管用的是什么词。

这就是嵌入（Embedding）的核心价值：把文本变成固定长度的数字向量，让语义相近的文本在向量空间中距离更近。

1.2 嵌入的本质

一句话概括：嵌入 = 文本 → 数字向量。

"蓝牙耳机音质很好，续航时间长" → [0.023, -0.154, 0.087, ..., 0.031] (1024 维向量) "无线耳机声音清晰，电池耐用" → [0.019, -0.148, 0.092, ..., 0.028] (1024 维向量) "今天天气真好，适合出去跑步" → [-0.087, 0.231, -0.065, ..., 0.112] (1024 维向量)

前两条向量很接近（都是耳机相关），第三条向量和它们差距很大（天气 vs 耳机）。这就是嵌入的魔力——用数学距离表示语义距离。

1.3 业务价值

在竞品监控 Agent 中，嵌入模型的应用场景：

二、BGE 模型家族

2.1 为什么选择 BGE

BGE（BAAI General Embedding）是智源研究院（BAAI）开源的嵌入模型，在国内文本嵌入任务上表现最好。它的主要优势：

• 中文效果最佳：在 C-MTEB（中文文本嵌入基准）上排名第一
• 开源免费：MIT 协议，可商用
• 多尺寸可选：从轻量到高精度，适配不同硬件

2.2 模型选择

RTX 3090 24GB 部署建议：直接用BAAI/bge-large-zh-v1.5，显存完全够用，精度最高。1024 维向量，单条文本推理仅需几毫秒。

2.3 1024 维向量是什么概念

1024 维向量就是 1024 个浮点数组成的一维数组。每个数字代表文本在某个"语义维度"上的特征。比如：

• 第 23 维可能代表"和电子产品相关的程度"
• 第 156 维可能代表"正面情感的强度"
• 第 512 维可能代表"和价格相关的程度"

这些维度不是人为定义的，而是模型在训练中自动学到的——这也是深度学习的"黑盒"魅力所在。

三、安装与部署

3.1 安装 sentence-transformers

uv pip install sentence-transformers

sentence-transformers是最流行的嵌入模型 Python 库，它封装了 HuggingFace 的模型加载和推理逻辑，使用极其简单。

3.2 加载模型

fromsentence_transformersimportSentenceTransformer model=SentenceTransformer("BAAI/bge-large-zh-v1.5")

第一次运行会自动从 HuggingFace 下载模型（约 1.3GB），下载后缓存在本地。如果下载慢，可以设置 HuggingFace 镜像：

$env:HF_ENDPOINT ="https://hf-mirror.com"

3.3 GPU 加速

sentence-transformers 会自动检测 GPU 并使用。在我的 RTX 3090 上：

• CPU 推理：约 10 条/秒
• GPU 推理：约 200 条/秒

20 倍速度提升。这就是本地有 GPU 的价值——不仅能跑大模型，还能大幅加速嵌入计算。

四、向量化实战：文本到数字

4.1 单条文本向量化

text="蓝牙耳机音质很好，续航时间长"embedding=model.encode(text,normalize_embeddings=True)print(embedding.shape)# (1024,)print(embedding[:5])# [0.023, -0.154, 0.087, -0.042, 0.019]

normalize_embeddings=True会将向量归一化为单位长度。归一化后，余弦相似度等于向量内积，计算更快。

4.2 批量文本向量化

texts=["文本1","文本2",...,"文本100"]embeddings=model.encode(texts,normalize_embeddings=True,batch_size=64,# 批量大小show_progress_bar=True,# 显示进度条)print(embeddings.shape)# (100, 1024)

batch_size是重要的性能参数。在 RTX 3090 上，batch_size=64是最优选择——太小 GPU 利用率低，太大可能 OOM。

五、语义相似度计算

5.1 余弦相似度

余弦相似度是衡量两个向量方向一致性的指标，范围 [-1, 1]：

importnumpyasnpdefcosine_similarity(a,b):returnnp.dot(a,b)/(np.linalg.norm(a)*np.linalg.norm(b))

对于归一化后的向量，余弦相似度简化为内积：

defcosine_similarity_normalized(a,b):returnnp.dot(a,b)# 因为 ||a|| = ||b|| = 1

5.2 语义搜索实战

在code/semantic_search.py中，我们用 20 条真实商品描述测试了语义搜索的效果：

defsemantic_search(query,documents,model,top_k=5):"""语义搜索：找到与 query 最相关的文档"""query_embedding=model.encode([query],normalize_embeddings=True)[0]results=[]fordocindocuments:doc_embedding=np.array(doc["embedding"])sim=cosine_similarity(query_embedding,doc_embedding)results.append({**doc,"similarity":sim})results.sort(key=lambdax:x["similarity"],reverse=True)returnresults[:top_k]

测试结果：

5.3 关键词搜索 vs 语义搜索

这是嵌入模型最直观的价值展示。查询"适合程序员长时间使用的桌面设备"：

关键词搜索（匹配"程序员"“桌面”“设备”）：

• 双肩电脑包（匹配"电脑"）
• 机械键盘 K8 Pro（匹配"程序员"）
• 升降桌 E5（匹配"桌面"）

语义搜索：

• 升降桌 E5（0.87）— "长时间使用"→ 久坐 → 升降桌
• 人体工学办公椅（0.82）— "长时间使用"→ 需要好椅子
• 机械键盘 K8 Pro（0.79）— "程序员"→ 键盘

语义搜索的理解更深入：它知道"长时间使用"意味着久坐，所以排第一的是升降桌和人体工学椅，而不是简单地匹配"程序员"关键词。

六、性能优化

6.1 normalize_embeddings 的作用

# 归一化前cos_sim=dot(a,b)/(norm(a)*norm(b))# 归一化后cos_sim=dot(a,b)# 因为 norm(a) = norm(b) = 1

归一化后的余弦相似度计算量减少 60%，在大量检索场景下效果显著。

6.2 batch_size 调优

在 RTX 3090 上的实测数据：

batch_size=64 是最佳选择——吞吐量最高，显存占用合理。

6.3 CPU vs GPU 对比

七、小结与预告

这节课我们完成了嵌入模型的基础建设——BGE 本地部署、文本向量化、语义相似度计算。

核心收获：

1. 嵌入 = 文本 → 向量：1024 维向量捕捉文本的语义特征
2. BGE-large-zh是中文嵌入的最佳选择，RTX 3090 上轻松跑
3. 语义搜索优于关键词搜索：召回率提升 40%+，理解近义词和语义关联
4. batch_size=64是 RTX 3090 的最佳配置

下一节课，我们将把这些嵌入向量存入向量数据库 ChromaDB，实现持久化存储和高效检索。这是构建知识库 Agent 的关键一步。

我们下一课见。

系列教程导航

上一篇：第 08 课 | Prompt Engineering：让模型输出稳定可靠的结构化数据

下一篇：第 10 课 | 向量数据库 ChromaDB 实战：存储与检索

本系列共 50 课，持续更新中。关注我不迷路。