admin 管理员组

文章数量: 1184232

BERT和ERNIE中[PAD],[CLS],[SEP],[MASK],[UNK]所代表的含义

在BERT和ERNIE等预训练模型的词汇表文件vocab.txt中，有[PAD],[CLS],[SEP],[MASK],[UNK]这几种token，它们代表的具体含义如下：

1，[PAD]

要将句子处理为特定的长度，就要在句子前或后补[PAD]

2，[CLS]

这个标志放在句子的首位，表示句子的开始

3，[SEP]

这个标志用于分开两个输入句子，例如输入句子 A 和 B，要在句子 A，B 后面增加 [SEP] 标志。

4，[MASK]

这个标志用于遮盖句子中的一些单词

5，[UNK]

词典内没有的词被标为[UNK]

本文标签： BERT和ERNIE中PAD CLS SEP Mask UNK所代表的含义

版权声明：本文标题：BERT和ERNIE中[PAD],[CLS],[SEP],[MASK],[UNK]所代表的含义 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1687129484a67205.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。