ALIGNMENT

KTO: Model Alignment as Prospect Theoretic Optimization

一、引言本报告介绍了一种基于前景理论（Prospect Theory）的大型语言模型对齐方法 ——KTO（Kahneman-Tversky Optimization）。该方法通过设计人类感知损失函数（HALO），直接最大化模型生成的效用

ALIGNMENT Model KTO Optimization Theoretic

admin 4月前

57 0
WHAT MAKES GOOD DATA FOR ALIGNMENT? A COMPREHENSIVE STUDY OF AUTOMATIC DATA SELECTION IN INSTRUCTION

这篇文章提出了DEITA的数据集筛选方法进化复杂度目前评估复杂度的几种方法：随机选择长度困惑度大模型评分指令结点数评分模型（Instag） IFD 本文的做法：让GPT给一个指令增加复杂度，生成6段对应的文本。然后用GP

ALIGNMENT Comprehensive Good DATA Selection

admin 6月前

87 0