admin 管理员组

文章数量: 1184232

前言

为了准备3月中旬的复试，今天回顾整理一下大三下学期做的机器学习课程设计，当时做的是基于attention机制的中英文机器翻译。参考的资料是pytorch官网的英法文间的机器翻译。pytorch参考链接

sequence to sequence介绍

一般的机器翻译是通过sequence to sequence network序列到序列网络的简单而强大的想法实现的，其中两个RNN递归神经网络一起工作以将一个序列转换为另一个。编码器encoder网络将输入序列压缩成矢量，解码器decoder网络将该矢量展开为新的序列。

递归神经网络（RNN）是一个网络，它按照一个序列进行操作，并将其自己的输出用作后续步骤的输入。一个输入对应一个输出的个RNN网络难以用于序列的转换学习，因为转换前后的序列长度在通常情况下是不同的，比如“一 袋 苹果”这样一个包含三个词汇的中文句子对应了“a bags of apples”四个词汇的英文句子。

而encoder模型把输入的序列数据转换为一个一定长度的矢量，这个矢量表示了这一个输入序列句子的整体意思。Encoder RNN模型如下图：

在得到encoder最后的隐层输出即得到输入序列数据的整体表达的矢量，将这一矢量作为decoder的第一个隐层状态，并将“SOS”(start of sequence)的编码作为decoder的第一个输入，然后依次将上一时刻的输出编码作为下一时刻的输入编码。从而把encoder的输出含义矢量转换为序列数据，从而实现两条序列的转换。一般的decoder如图所示。

本文标签： 机器翻译 中英文 机制 Attention

版权声明：本文标题：基于attention机制的中英文机器翻译 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1764013580a3286561.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。