https://laisky.notion.site/Aligning-language-models-to-follow-instructions-0a1a1aca07174ad09b1cee55d4856b4f?pvs=4

经常在大模型领域听到 aligning（拉通对齐）这个词，此文就介绍了究竟是什么意思。

这个对齐指的是让 LLM 的输出，和用户的期望对齐。这是个很宽泛的描述，包括：

1. 遵循用户的指令
2. 遵循事实
3. 不要包含恶意信息

而实现对齐的方法为：

1. 找一群活人充当 labelers，编写参考回答，同时也为模型输出评分
2. 用 labelers 编写的回答来 fine-tuning 模型
3. 用 labelers 的打分数据，去训练一个 Reward Model
4. 用 Reward Model 对 LLM 进行强化学习

这套流程称为真人反馈强化学习（reinforcement learning from human feedback, RLHF）

最终得到的新模型，称为 InstructGPT，这个模型可以用缩小 100 倍的参数量，实现更好的输出。

GPT-3 本来有 175B 个参数，而 InstructGPT 只有 1.3B。这就是为什么 GPT 可以实现性能飞跃和大幅降价的原因，也就是后续的 turbo 模型。

Ps. 奇了怪了，我记得去年 Azure 透露 GPT 只有 2B 参数时还有一大群人震惊，其实 OpenAI 在这篇 2022 年 1 月的文章里就说了只有 1.3B 参数。

Laisky on Notion

Aligning language models to follow instructions | Notion

We’ve trained language models that are much better at following user intentions than GPT-3 while also making them more truthful and less toxic, using techniques developed through our alignment research. These InstructGPT models, which are trained with humans…