admin 管理员组

文章数量: 1184232

PaddleNLP 支持主流LLM 对话模型，同时支持自动构建多轮对话，可通过以下脚本。

使用对话模板

from paddlenlp.transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-v1.1")

# 单论对话
query = "北京有什么好玩的"
inputs = tokenizer.apply_chat_template(query, return_tensors="pd")

# 多轮对话
query = [["1+1=", "1+1=2"], ["再加一"]]
inputs = tokenizer.apply_chat_template(query, return_tensors="pd")

自定义对话模板

在介绍如何自定义对话模板之前，介绍对话模板构造的逻辑：final_query = system + conversation_history + query。

  • system: 在最终 prompt 最前面的固定文本，比如：你是一个人工智能助手，风趣幽默，通常喜欢用比较文艺的语言风格跟人们沟通。

  • conversation_history: 将多轮对话构造成一个 query，不同模型通常会有不同的构造规则。

  • query: 用户最新的输入。

构建自定义对话模板非常简单，只需要创建一个 chat_template.json 文件即可，如下所示：

  1. 创建 chat_template 文件

文件名默认为：chat_template.json

本文标签： 模板

版权声明：本文标题：对话生成模板 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1754605986a3020544.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。