admin 管理员组

文章数量: 1184232

《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach

      • 简介
      • 想法来源
      • 数据集的选择
      • 创新点
      • 总结

期刊：arxiv 2019 年 7 月

类型：预训练语言模型

特点：对BERT模型进行进一步的探索，包括超参数设置，以及每一个任务对整体效果的贡献

本文带来Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du等人共同创作的文章

简介

想法来源

  1. BERT模型存在缺点，有可改进的点

    We find that BERT was significantly undertrained, and can match or exceed the performance of every model published after it.

  2. 通过实验的SOTA证明，该想法可行

    These results highlight the importance of previously overlooked design choices, and raise questions about the source of recently reported improvements.

数据集的选择

预训练数据集：

BOOKCORPUS
CC-NEWS
OPENWEBTEXT
STORIES</

本文标签： 论文 Robustly Roberta optimized Pretraining

版权声明：本文标题：《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1763632224a3256410.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。