admin 管理员组

文章数量: 1184232

论文地址：Language Models are Few-Shot Learners

往期相关文章：

  • ChatGPT追祖寻宗：GPT-1论文要点解读_五点钟科技的博客-CSDN博客
  • ChatGPT追祖寻宗：GPT-2论文要点解读_五点钟科技的博客-CSDN博客

本文的标题之所以取名技术报告而不是论文，是因为长达63页的GPT-3的这篇文章它不是一个发表的论文，而是一份报告，文中也没有针对模型的结构和整个训练过程的细节介绍，基本上都是在讨论，因此本博客也只挑一些个人觉得值得关注的点介绍一下。 

Abstract

回顾一下GPT-1和GPT-2，GPT-1中主要用到了改变输入样式的方式让模型学会执行不同任务，GPT-2作者通篇在强调零样本学习，放弃用在输入中加入特殊符号区分不同任务的做法，改用纯自然语言输入的方式执行不同的任务，而在GPT-3中，作者又不再强调零样本的事了，也认为依靠大量的标注数据进行任务相关的微调不是个好主意，因为作者提到，人类对于新的任务的学习，往往只需要少量的样本就能学到新知识，估计作者认为也不能一个样本都不给，因此，作者想到了一个few-shot的方法，牛掰！当然也提到了one-shot的方法，这个后面会说。摘要中作者主要说明了他们开发出一个包含1750亿个参数的GPT-3，比之前非稀疏的模型大10倍，为啥是非稀疏的，因为稀疏模型的权重存在很多0，会导致模型虚大，所以 没有对比意义。其次，作者发现GPT-3生成的新闻文本连人类都难以分辨真假是不是人写的。

1. Instruct 

接下来，作者提到了目前对于语言模型训练的范式，就是在一个任务无关的数据集上预训练，再在特定任务数据集上做微调，但是这种范式存在很大的问题，就是这样训练模型仍然需要大量的标注数据去做微调，具体地，作者列出了3个问题：

本文标签： 要点 报告 技术 ChatGpt 追祖寻宗

版权声明：本文标题：ChatGPT追祖寻宗：GPT-3技术报告要点解读 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1754769311a3036777.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。