Encoder-Decoder结构学习[含代码]

本文对Encoder-Decoder的结构以及相关网络结构进行了一些学习，包括了论文解读和自己的一些诠释

Encoder-Decoder结构是目前非常常见的模型结构，在NLP等诸多领域中均有应用。

1.提出和核心思想

Kyunghyun Cho等人首先在论文中¹提出了Encoder-Decoder的架构，该架构的组成如图1、图2所示。


也就是说，Encoder-Decoder将模型学习阶段分成了两个步骤，首先进行Decoder网络的构建，然后利用Decoder的输出，来训练Encoder。
简述以下 就是 输入向量->模型->特征向量->模型->输出向量
这样做有一些优点：

• 能够降低输入的复杂度，可以将较长的输入提炼为一个较短长度的特征向量，进而减少模型的运算量，也能够提高其准确性
  应用

• 去除噪音

• 压缩/降维算法

• 图像压缩

• 特征提取

  https://blog.csdn.net/u013250861/article/details/111290319

• https://blog.csdn.net/weixin_43612023/article/details/102793911

• https://www.codercto.com/a/81490.html

• https://papers.nips.cc/paper/2014/hash/a14ac55a4f27472c5d894ec1c3c743d2-Abstract.html

• https://www.datalearner.com/blog/1051552962185617

• https://zhuanlan.zhihu.com/p/42269145

• https://blog.csdn.net/program_developer/article/details/78752680

• https://www.codercto.com/a/81490.html

参考文献

[1] Cho K, Van Merriënboer B, Gulcehre C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[J]. arXiv preprint arXiv:1406.1078, 2014.