PPO 算法曾被顶会拒稿，如今成大模型后训练基础算法，时间才是公平评审！

【导语：PPO 这个在 RLHF 和大模型训练中广泛使用的经典算法，曾被 NIPS 2017 拒之门外。后来它在大语言模型领域大放异彩，这折射出学术评价与真实产业需求的错位，也说明时间才是最严格、公平的评审。】

PPO：从被拒稿到成为大模型基础算法

PPO（Proximal Policy Optimization）算法最早在 2017 年 7 月发布的论文，当时只是一个更简单、更工程友好的策略优化算法，目标是在保留 TRPO 稳定性的同时，降低实现复杂度，让强化学习训练更好调、更实用。然而，它却被 NIPS 2017 拒之门外。

但几年后，PPO 在大语言模型领域迎来了第二波热潮，从 RLHF 到今天的 RLVR，它成了大模型后训练里绕不开的基础算法之一，其影响力超出了原论文当年的预期。

PPO 被拒稿原因：创新性与提升不明显

PPO 作者 John Schulman 解释，这篇论文在当时被认为创新性有限，相比已有基线方法的提升也不够明显。

有网友评论，这背后折射出学术评价与真实产业需求之间的一种错位。学术界往往更看重新颖性，以及在小规模、受控实验环境下相对基线的提升；而真实世界更在意的是方法能不能扩展到更大规模，能不能在复杂系统里保持稳定，能不能真正跑得起来。

AI 史上被拒稿却影响深远的工作

其实不止 PPO，AI 史上不少后来被证明影响深远的工作，都曾在最初投稿时被顶会拒之门外。

LSTM 在 1996 年被 NIPS 拒稿，当时被认为过于复杂、缺乏生物学合理性，但后来成为语音识别、机器翻译等序列建模任务的核心技术。

SIFT 曾被 ICCV 1997、CVPR 1998 拒稿，原因是工程步骤繁琐、不够优雅，但它后来统治前深度学习时代的计算机视觉十多年。

Dropout 在 2012 年被 NIPS 拒稿，被认为像工程 hack、理论解释不够严谨，但它后来成为深度神经网络最重要的正则化方法之一，并获得 NeurIPS 时间检验奖。

编辑观点：PPO 等算法的经历表明，学术评价与产业需求存在差异，一项技术的真正价值可能需要时间来检验，不能仅以一时的学术评审来判断其未来影响力。