企业官网建设流程全解析

一、Transformer 核心组件

1、Input Embedding（输入嵌入）

Input Embedding（输入嵌入）： 是整个模型的第一道工序。它的核心作用是将人类可读的、离散的文本符号（Token），转换为机器可计算的、连续的稠密向量表示。你可以把它理解为 “翻译官”，把“文字语言”翻译成“数学语言”，让后续的注意力机制和前馈网络能够处理

2、Output Embedding（输出嵌入）

Output Embedding（输出嵌入）指的是解码器输入端的词嵌入层。简单来说，它是将“已经生成的历史 token”转换为模型可理解的向量表示的模块。尽管名字里带有 "Output"，但它实际上是解码器下一时刻预测的输入。

3、Positional Encoding（位置编码）

Positional Encoding（位置编码） 是 Transformer 架构中至关重要的一个组件。简单来说，它是为了给模型注入“顺序”或“位置”信息而人为添加的一个向量。

（Attention：注意力）

为什么需要Positional Encoding

• 要理解它的作用，首先要理解Transformer的核心缺陷：Transformer的Self-Attention的核心是“排列不变”的。这意味着，Self-Attention在计算时将输入序列视为一个集合（Set），而不是一个序列（Sequence）。如果如果打乱了句子的词序（例如把"I Love You" 变成"You Love I"），Self-Attention输出的特征表示在数学上是完全一样的（只是顺序变了）。
• 然而自然语言是高度依赖语序的（“狗咬人”和“人咬狗”意思完全不同），RNN/LSTM天生通过时间步传递信息，CNN通过卷积核的相对位置感知局部顺序，但Tansformer没有这种归纳配置，因此必须显示的告诉模型每个Token处于什么位置

它具体有什么作用

• 提供绝对位置信息：让模型知道当前token是句子中的第几个词
• 提供相对位置关系：好的位置编码设计能让模型通过运算（如点积）推导出两个Token之间的距离（相对位置），这对这对理解语法结构和语义依赖至关重要
• 保持注意力机制的有效性：将位置信息和词嵌入相加后，相同词在不同位置的Attention Score就会不同，从而使模型能够区分上下文

4、Multi-Head Attention（多头注意力机制）

Multi-Head Attention（多头注意力机制） 是 Transformer 架构的核心创新之一。简单来说，它是将标准的 Self-Attention 并行执行多次，每个“头”独立地学习不同的关注模式，最后将所有头的结果拼接融合。

在 Transformer 架构中，Attention（注意力机制）的核心工作是动态聚焦并整合序列中最相关的信息。它打破了传统模型逐字阅读的限制，允许模型在处理序列数据时，直接计算任意位置之间的关联，从而实现对信息的有效筛选和整合。

具体来说，Attention 的工作机制可以拆解为以下几个核心步骤：

1. 角色分工（生成 Q、K、V 向量）
对于输入序列中的每个词元，模型会将其转化为三个不同的向量：

• Query（查询）：代表当前词元的“问题”或“诉求”，即它想在上下文中寻找什么信息。
• Key（键）：代表序列中所有词元的“身份标签”或特征索引。
• Value（值）：代表序列中所有词元实际包含的具体语义信息。

2. 计算关联度（相似度打分）
模型会计算当前词元的 Query 与序列中所有词元的 Key 之间的点积相似度。这个分数反映了它们之间的语义关联程度。例如，在处理代词“它”时，其 Query 会与上下文中所有名词的 Key 进行匹配，发现与“狗”的匹配度最高。

3. 分配关注度（权重归一化）
计算出的相似度分数会经过 Softmax 函数进行归一化处理，转化为 0 到 1 之间的注意力权重。这些权重代表了在理解当前词元时，应该给予序列中其他词元多大的关注。分数越高的词元，获得的权重越大；无关的词元权重会趋近于 0。

4. 提取并融合信息（加权求和）
最后，模型使用这些注意力权重对所有词元的 Value 进行加权求和。这一步相当于把高相关词元的信息“吸收”过来，生成一个包含了丰富上下文信息的新特征表示。

通过这种“检索-匹配-聚合”的逻辑，Attention 让模型能够像人类一样，忽略无关内容，自动聚焦关键信息，并精准捕捉长距离的上下文依赖。

1、为什么需要Multi-Head？单头不行吗？

        理论上，单个足够大的 Attention 层也能拟合复杂函数。但在实践中，单头Attention 存在严重问题：单头 Attention 倾向于“平均化”多种不同的关注模式。