admin 管理员组

文章数量: 1184232

一、概述

Motivation：GPT系列的模型，像GPT-3，CodeX，InstructGPT，ChatGPT，尽管很多人关注他们能力的不同，但是很少关注GPT系列模型随着时间变化其能力的变化情况。
Methods： 在9个NLU任务（21个数据集）上，评估了2个GPT-3系列，4个GPT-3.5系列模型的效果，同时基于zero-shot和few-shot场景都做了评估。
Finding：GPT系列模型在NLU任务上的表现并没有随着模型的演进而提升，特别是在经过RLHF训练策略后，反而限制了他解决任务的能力，同时其在模型鲁棒性上也有比较多的提升空间。
Conclusion：
随着GPT系列的演变，其能力并不是逐步增强，他与训练策略和任务的特性有关，同时尽管效果可能有提升，但是其鲁棒性也没有明显增强，这值得更多的研究。
如何平衡任务解决能力和用户友好的回复生成能力，也是一个值得研究的方向。
如何在提升performance的同时，提升鲁棒性也是一个值得研究的方向。
注意：gpt4 没有拿到api接口，所以没有来得及测试。

二、详细内容

Abstract

模型演变过程

Experiment

  • 情感分析
    • 有下降趋势，下降不多 阅读理解 下降挺明显，特别是经过强化学习训练后 NLI 还有一定提升
  • NER（英文）
    有些数据集下降挺明显，有些数据集还提升
  • NER（中文）
    下降趋势大一点，特别是强化学习后
  • 情感匹配
    • 有一点下降趋势
  • 词性标注（part-of-speech Tagging 英文）
    • 有不错的提升
  • 词性标注（part-of-speech Tagging 中文）
    • 下降
  • 关系抽取
    • 下降趋势大一点，特别是强化学习后
  • 其他
    • 从gpt3到gpt3.5还是有不少任务得到了提升

Conclusion

随着GPT系列的演变，其能力并不是逐步增强，他与训练策略和任务的特性有关，同时尽管效果可能有提升，但是其鲁棒性也没有明显增强，这值得更多的研究。
如何平衡任务解决能力和用户友好的回复生成能力，也是一个值得研究的方向。
如何在提升performance的同时，提升鲁棒性也是一个值得研究的方向。
注意：gpt4 没有拿到api接口，所以没有来得及测试。

本文标签： 论文 Analysis Capability Comprehensive GPT

版权声明：本文标题：A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models论文学习 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1758725984a3089720.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。