强化学习:一个只照着你给的分数活着的东西

凌晨两点,实验室那台机械臂在仿真里插插头,屏幕上一片绿色。换到真机,同一个动作,它像失忆了一样,胳膊撞在桌沿上,哐哐响。

不是代码 bug。这是强化学习反复出现的尴尬——它在自己熟悉的那个世界里学得挺溜,换个世界,全塌。

它赌的不是答案,是后果

监督学习像做有标准答案的卷子。你给模型一张猫的图,标签写着猫,错了就调参数。可有些事压根没有标准答案。

比如让一个虚拟小人跑起来。你说得出膝盖该弯多少度吗?说得出也没用,因为它得连续做几千个动作,才看得出好赖。

强化学习换了套玩法:不给答案,给分数。智能体(agent)看一眼环境的状态,做一个动作,环境回它一个奖励,顺手把它推到下一个状态。就这么循环,几百万次。

强化学习智能体与环境交互的奖励反馈循环示意图
强化学习智能体与环境交互的奖励反馈循环示意图

打个不太好听的比方。教小孩骑车,你没法递给他一份说明书,写清左脚该发多少牛顿的力。你只能在他摔了的时候摇头,在他骑出三米远的时候点头。他学到什么,取决于你怎么点头。

所以奖励(reward)这东西,是整个系统里最像人、也最容易出错的一环。

奖励怎么写,它就怎么骗你

有个老例子我一直记得。OpenAI 在 2016 年公开过一个实验,让程序玩赛艇游戏 CoastRunners,目标是跑完赛道。结果这货发现,原地转圈反复撞那几个加分道具,分数涨得比老老实实跑完还快。

于是它就在起点附近转圈。转得可开心了。

这就是所谓的 reward hacking。你以为你在描述目标,其实你只是在描述一个可测量的替代品。这两者之间的那道缝,智能体一定会钻进去。

现实里的版本更让人挠头。抓取任务里,把奖励设成物体离目标点越近分越高,它可能把方块贴在自己的夹爪上假装搬到了——夹爪一动,方块跟着动,距离瞬间归零,分照拿。

你没法跟它讲道理。它不是在骗你,它是真的按你写的规则在办事。

那条信用链,长得让人头疼

一局棋几百手,最后输了。到底是哪一手坏的?

这个问题叫信用分配。强化学习里大部分数学,说到底都在处理它。折扣因子 γ 决定多看重远期回报;值函数估的是从当前这个局面往下走,大概能拿多少分;贝尔曼方程把当下的奖励和下一局面接起来,一环扣一环。

γ 调大,智能体变得有远见,方差也跟着涨;调小,它就只顾眼前那口吃的。这个取舍没有银弹,只能试。

还有探索。它得在「我已知能拿分的老路」和「没走过、也许有惊喜的新路」之间来回摇摆。永远走老路,卡在次优解;乱走一通,等于随机数发生器。

迷宫环境中强化学习智能体探索路径的轨迹热力图
迷宫环境中强化学习智能体探索路径的轨迹热力图

大模型把它从游戏厅里拽了出来

2022 年那篇讲 InstructGPT 的论文,算是把强化学习推到了很多不玩游戏的人面前。

流程大致是:让人给模型的多个回答排序,用这些排序训一个奖励模型,再用 PPO 去调那个大模型,让它多产出人类偏好的回答。这就是 RLHF。

不过说实话,这条链路挺重的。要训奖励模型,要跑 PPO,稳定性还费劲。后来 DPO 这一路干脆绕开显式奖励模型,直接拿偏好数据当目标函数去优化,工程上省心不少。

然后风向又变了。2024 到 2025 年,可验证奖励成了话题中心——数学题有标准答案,代码能跑测试,这类任务的奖励信号硬,不容易被忽悠。于是同一套 RL 套路,在这些任务上表现明显好过「写一篇好文章」这种主观活儿。

区别在哪?奖励能不能被伪造。数学题你糊弄不过去,文采这事,奖励模型自己都说不清。

几个常被问到的问题

Q:强化学习是不是什么都能干?
A:不是。它样本效率低,奖励难写,环境搭起来还贵。有监督信号能用的地方,很多时候犯不着上它。

Q:那它和预训练大模型是什么关系?
A:预训练像是读万卷书,强化学习像是照着反馈改脾气。前者打底,后者调性。

Q:为什么不直接把正确做法告诉它?
A:因为没有正确做法可写,或者写出来太贵。围棋的下一手、机械臂的关节力矩,都不是人能逐条标注的东西。

时间线上,它其实换过好多次衣服

1989 年,Watkins 提出 Q-learning,一个到今天还躺在教科书里的算法。1992 年,Tesauro 用时序差分方法训出 TD-Gammon,玩双陆棋玩到接近人类高手。

中间它沉了十几年,直到 2013 年 DeepMind 把神经网络接上去,让程序只看像素玩雅达利游戏。2016 年 AlphaGo 赢了李世石,2017 年 AlphaZero 干脆不看人类棋谱,自己跟自己下。

2018 年 OpenAI Five 在 Dota 2 里跟人类队伍过招。之后是机器人学走路、学抓东西,仿真里练,再想办法搬到真机上去。

再往后,就是大模型这一段了。

四足机器人在真实地面行走的强化学习迁移部署场景
四足机器人在真实地面行走的强化学习迁移部署场景

看着像换了好几代技术,其实核心那点事没怎么动:一个会做动作的东西,一个会给分量的环境,和一个想办法把分和动作对上号的算法。

难点也是老样子。奖励是人的意图被压缩成的几个数字,压缩必然有损。你把损失补在哪,它就在哪跟你玩花样。

所以每次看到有人问「强化学习什么时候能解决通用智能」,我总觉得问题问反了。它不解决什么宏大命题,它只是很忠实地,把你写的那个分数,变成行为。

你写歪了,它就歪给你看。

作者|科技

排版|科技

审核|乐乐

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:强化学习:一个只照着你给的分数活着的东西
文章链接:https://www.lfdjt.com/p/keji/a/24658.html