admin 管理员组

文章数量: 1184232

 langchain下用FAISS时报错，如下

ValueError: Encountered text corresponding to disallowed special token '<|endoftext|>'.
If you want this text to be encoded as a special token, pass it to `allowed_special`, e.g. `allowed_

If you want this text to be encoded as normal text, disable the check for this token by passing `dis

To disable this check for all special tokens, pass `disallowed_special=()`.

解决方法

把 embeddings = OpenAIEmbeddings() 

修改为 embeddings = OpenAIEmbeddings(disallowed_special=())

本文标签： text encountered ValueError disallowed endoftext

版权声明：本文标题：ValueError: Encountered text corresponding to disallowed special token ‘＜|endoftext|＞‘. 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1765996840a3430647.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。