InstructGPT

InstructGPT高效实践——【DeepSpeed-Chat】源码详解(33)：RLHF Finetuning

目录前言 3 phase-3: RLHF Finetuning 3.1 训练数据样例 3.1 基本数据 3.2 经验数据 3.2 训练过程 3.3 关键代码详解 3.3.1 读取数据集及Datacollator 3.3.1.1 promp

高效详解源码 deepspeed InstructGPT

admin 7月前

49 0

目录前言 1 phase-1: Supervised Finetuning 1.1 训练数据样例 1.2 训练过程 1.3 关键代码详解 1.3.1 基座模型结构 1.3.2 LoRA结构及其正向传播 1.3.3 phase1的指标评估

高效详解源码 Chat InstructGPT

admin 7月前

97 0

最近ChatGPT大火，简单整理了一些文章和帖子。 ps.此时ChatGPT还没公布相应的论文，所有以下内容为官网发布内容，以及一些合理的推测。 InstructGPT

InstructGPT ChatGpt

admin 2024-9-18

61 0

[db:摘要]

详解技术 ChatGpt InstructGPT

admin 2024-9-14

60 0

[db:摘要]

AI 李牧学 InstructGPT ChatGpt

admin 2024-8-25

63 0