企业官网建设流程全解析

7. 编码器-解码器注意力（Cross-Attention）

编码器-解码器注意力是Transformer架构中连接编码器和解码器的核心机制，用于实现跨序列的信息交互

• 步骤：解码器的 Query 与编码器的 Key、Value 交互。

• 意义：

  • 让解码器动态关注编码器的输出（如翻译时对齐源语言和目标语言的位置）。

一、核心作用与原理

功能定位：
允许解码器在生成每个目标词时，动态检索编码器输出的相关信息。

数学表达：

• Q (Query)：来自解码器的当前状态（询问需要什么信息）

• K (Key)/V (Value)：来