admin 管理员组

文章数量: 1184232

本文是LLM系列文章，针对《CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models》的翻译。

CRUD-RAG：大型语言模型检索增强生成的综合中文基准

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 CRUD-RAG：一个全面的中文RAG基准
  • 4 实验
  • 5 结论

摘要

检索增强生成（RAG）是一种通过引入外部知识源来增强大型语言模型（LLM）能力的技术。这种方法解决了LLM的常见局限性，包括过时的信息和产生不准确“幻觉”内容的趋势。然而，评估RAG系统是一个挑战。大多数当前的基准测试主要集中在问答应用程序上，而忽略了RAG可能有益的更广泛的场景。此外，他们在实验中只评估了RAG管道的LLM组件的性能，而忽略了检索组件和外部知识数据库构建的影响。为了解决这些问题，本文构建了一个大规模、更全面的基准，并在各种RAG应用场景中评估了RAG系统的所有组件。具体来说，我们指的是描述用户和知识库之间交互的CRUD操作，还将RAG应用程序的范围划分为四种不同的类型——创建、读取、更新和删除（CRUD）。“创建”是指需要生成原创、多样化内容的场景。“阅读”包括在知识密集的情况下回答复杂的问题。“更新”侧重于修订和纠正已有文本中的不准确或不一致之处。“删除”是指将大量文本概括成更简洁的形式。对于这些CRUD类别中的每一个，我们都开发了不同的数据集来评估RAG系统的性能。我们还分析了RAG系统的各个组成部分的影响，如检索器、上下文长度、知识库构建和LLM。最后，我们为针对不同场景优化RAG技术提供了有用的见解。

1 引言

2 相关工作

</

本文标签： Benchmark retrieval Comprehensive Chinese Augmented

版权声明：本文标题：A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1758727348a3089739.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。