企业官网建设流程全解析

自编码器Autoencoder（上）

如图，Auto-encoder就是希望输入的图片经过两次转换之后，要跟输出越接近越好。这个训练的过程完全不需要任何的标注资料，只需要收集到大量的图片就能完成这个方法，所以他是一个unsupervised方法，和Self-supervised一系列的Pre-traine的做法一样。

Encoder作用：把本来很高维的东西转换成低维的（即Dimension reduction）。

De-noising Auto-encoder：初始图片加入杂讯之后进入Encoder，要求Decoder要还原为加杂讯之前的初始图片。

自编码器Autoencoder（下）

应用之语者辨析

应用之Discrete Representation

Text as Representation:

输入输出都是一些句子，比如得到文章的摘要。

更多应用：

Anomaly Detection：异常检测

如下例