admin 管理员组

文章数量: 1184232

本文是LLM系列文章，针对《Continual Learning of Large Language Models: A Comprehensive Survey》的翻译。

大型语言模型的持续学习：综合调查

  • 摘要
  • 1 引言
  • 2 前言
  • 3 持续学习与大型语言模型：概述
  • 4 连续大型语言模型的学习阶段
  • 5 评估协议和数据集
  • 6 讨论
  • 7 结论

摘要

有效和高效地将静态预训练的大型语言模型（LLM）适应不断发展的数据分布的挑战仍然是主要的。当为特定需求量身定制时，经过预训练的LLM在先前的知识领域中经常会出现明显的性能下降，这种现象被称为“灾难性遗忘”。尽管在持续学习（CL）领域进行了广泛的研究，但这个问题在LLMs领域呈现出新的表现形式。在本次调查中，我们全面概述并详细讨论了CL背景下LLMs的当前研究进展。除了介绍初步知识外，本次调查还分为四个主要部分：我们首先描述了持续学习LLMs的概述，包括两个方向的连续性：垂直连续性（或垂直持续学习），即从一般能力到特定能力的持续适应，以及水平连续性（或称水平持续学习）（即跨时间和领域的持续适应）（第3节）。遵循垂直连续性，我们总结了现代CL背景下学习LLM的三个阶段：连续预训练（CPT）、领域自适应预训练（DAP）和连续微调（CFT）（第4节）。然后，我们概述了LLM持续学习的评估协议，以及当前可用的数据源（第5节）。最后，我们讨论了与LLM持续学习有关的有趣问题（第6节）。这项调查揭示了持续预训练、适应和微调大型语言模型这一研究相对不足的领域，表明社区有必要给予更多关注。需要立即关注的关键领域包括制定实用和可访问的评估基准，以及专门设计的方法，以对抗遗忘，并在不断发展的LLM学习范式中实现知识迁移。本次调查中审查的论文完整列表可在https://githu

本文标签： Large learning Continual Language Survey

版权声明：本文标题：Continual Learning of Large Language Models: A Comprehensive Survey 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1758728729a3089758.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。