构筑 AI 理论体系：深度学习 100 篇论文解读第十八篇：LSTM 的精简替代——门控循环单元 GRU (2014)-酒店常州论坛

构筑 AI 理论体系：深度学习 100 篇论文解读

在LSTM (1997)统治序列建模领域十多年后，研究人员开始探索更高效、参数更少的门控循环网络结构。LSTM 的三个门和细胞状态虽然功能强大，但也导致其计算成本高、参数量大，且结构复杂。

Kyunghyun Cho及其团队在2014 年提出了门控循环单元（GRU），它是对 LSTM 结构的一次精简和融合。GRU 将 LSTM 的三个门减少为两个门，并取消了独立的细胞状态，使其在保持对长期依赖的捕获能力的同时，拥有更高的计算效率。

作者	国籍	机构（2014 年时）	核心贡献
Kyunghyun Cho (赵竟玄)	韩国	University of Montreal (Yoshua Bengio 团队)	提出了 GRU，后在纽约大学任职，是自然语言处理领域的关键人物。
Yoshua Bengio	加拿大	University of Montreal	深度学习三巨头之一，GRU 论文的共同作者。

信息项	详情
论文题目	Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
发表年份	2014 年
出版刊物	EMNLP (Conference on Empirical Methods in Natural Language Processing)
核心命题	如何设计一种更简洁高效的循环单元，在不使用独立的细胞状态和三个门的情况下，依然能有效解决标准 RNN 的梯度消失问题和长期依赖问题？

GRU 的核心在于其结构上的简化，它将 LSTM 的三个门和两个状态（隐藏状态hth_tht和细胞状态CtC_tCt）融合为两个门和一个单一的隐藏状态hth_tht。

GRU 只有两个门：

门名称	对应 LSTM 的融合功能	作用
更新门 (ztz_tzt)	遗忘门 + 输入门	决定保留多少旧信息，引入多少新信息。ztz_tzt接近 1 时，倾向于保留旧的隐藏状态ht−1h_{t-1}ht−1；接近 0 时，倾向于用新的候选隐藏状态h~t\tilde{h}_th~t完全覆盖旧状态