北京大学人工智能研究院助理教授杨耀东：大语言模型的安全性对齐进展综述

注：北京大学人工智能研究院助理教授杨耀东做的《大语言模型的安全性对齐》演讲很精彩，首先中文演讲能听懂，其次他用了非常通俗易懂的语言解释了目前大语言模型安全对齐的主要研究进展，提纲挈领，在深度上超过很多讲RLHF进展的内容。

因为不懂详细的技术，只能大概理解原理，记录一些有意思的点：

OpenAI提出的3种Align的方式：

• 训练AI使用人类反馈

• 训练AI协助人类评估

• 训练AI做对齐研究

AI大模型对齐市场仍是蓝海：

• 现有大模型除GPT以外，几乎都没有成功实现任何意义上的对齐

• 大模型通用到专用的转变技术，将是大模型发展的下一个制高点

3种对齐安全的方式：

• 在预训练阶段，通过人工筛选和数据清洗，获取更高质量的数据

• 在输出阶段使用奖励模型进行 reject sampling，提高输出质量和安全性。或者在上线的产品中，拒绝回应用户的输入。

• 在微调 (SFT 和 BLHF) 阶段，增加更加多元且无害的用户指令和人类偏好模型进行对齐，包括RBRM、Constitutional Al。

从RLHF到RLAIF：Constitutional AI