上周被做算法的朋友拽去他待的实验室，说要给我看个“比上班摸鱼有意思一百倍”的东西。推开门的时候整个房间没有人大声说话，只有十几台服务器嗡嗡转，墙上挂的十几块屏幕全亮着——最中间那块屏上，像素风的超级马里奥小人，正第1600多次从第一个土坑掉下去，屏幕角落跳出来一个红色的数字：-100。
朋友凑过来拍我肩膀，说这就是你之前总听人提的强化学习。我当时第一反应是，哦，就这？我之前在科普文里看的强化学习，不是什么改变世界的黑科技吗？怎么在这看了俩小时，全是这个小人反复摔坑的循环？
摔了几千次坑的AI，根本不是在“背题”
我之前对这类AI的刻板印象，和大多数人差不多——无非是把所有马里奥的通关录像都喂给它，让它把“哪个位置有蘑菇，哪个位置有乌龟”全背下来，遇到相似的场景直接套答案。直到朋友把训练日志拉出来给我看，我才发现自己完全错了。
它根本没背任何固定的通关路线。训练开始的时候，这个小人连“按右键会往右边走”这个动作都要摸几十次——有时候按右键它直接冲下坑，有时候跳起来能碰到个蘑菇拿奖励，系统就会给对应的动作打个分：碰到坑是负分，碰到蘑菇是正分，走到旗杆通关是满分。它所有的调整，全是靠着每次试错拿到的分数反馈慢慢攒出来的。
我盯着那块屏看了快一个小时，看着那个像素小人第1724次摔进坑里，第1725次的时候居然在坑边精准按了跳跃键，直接跨了过去，接着连吃两个蘑菇蹦到了旗杆下。那瞬间我鸡皮疙瘩都起来了。
真的，那种感觉太奇怪了。你明明知道这是写出来的代码在跑，但是看着它从完全不会动，到慢慢摸清楚每个动作的后果，那种成长的质感，根本不像看冰冷的程序运行，像看个刚学会爬的小孩，憋了半天终于自己站了起来。
说实话，我之前学骑车的时候也是这样。我爸当年根本没给我讲什么“重心倾斜角度”“脚蹬发力比例”，就是在后面扶着车座，我摔了爬，爬了摔，每次摔的时候就知道刚才哪个动作不对——压车把太狠会歪，脚蹬慢半拍会晃，摔个七八次，突然就找到平衡感了。强化学习干的事，本质上和这个过程没差。
被吹上天的大模型，其实只是没学会“试错”的偏科生
从马里奥的屏幕前挪开的时候，我突然想明白一个事：为什么前两年大模型火得一塌糊涂，这两年大家又开始把目光往强化学习上转？
之前的大模型，不管是能写文案的，还是能画图的，本质上都是“背书选手”。训练的时候给它喂了几千万份文本、几百万张图，它学会了字和字之间的搭配逻辑，图和图之间的像素规律，但是你让它去做个需要动态调整的事——比如规划条不堵车的通勤路线，或者打个需要预判对手动作的策略游戏，它立刻就露怯。
去年我就试过，用某知名大模型算我家到公司的最优通勤路线，它给我推了条要绕三公里的辅路。我当时还纳闷，它不是看过全城所有的通勤攻略吗？后来朋友给我解释，它是“看过”，但它从来没“真的走一遍”。它的训练数据里只写了“这条辅路比主路短1.2公里”，但没写“早8点这条辅路因为施工，会堵20分钟”，它根本不知道这个动态的变化。
但强化学习不一样。它可以自己在模拟导航里跑1000次通勤，每次跑的时候把“堵了20分钟”“红灯多等3个”“路边有共享单车可以骑”这些所有动态的反馈都攒下来，最后摸出来的路线，比那些只靠看静态攻略的模型靠谱多了。
不过话说回来，也别把强化学习吹得神乎其神。我当时凑过去看他们训练的围棋AI，头三天跑的棋谱，连我这种臭棋篓子都能赢。朋友说这才是正常状态——它是从零开始学的，连“棋子落在棋盘上不会掉下来”这种常识，都要跑几百次试错才能摸清楚，哪有什么生下来就会下棋的天才AI。
别被“超级智能”的噱头骗了，强化学习现在也有软肋
那天在实验室待的最后半小时，我看了个更有意思的训练项目：他们在训练AI打乒乓球。本来的目标是让AI学会接发球，把球打回对方的台面上。结果跑了三天，他们发现AI根本不想好好打球。
它发现只要把球打在网带上，球弹回来的时候，系统会给它额外的奖励分——因为系统设定的规则是“球只要在台面上弹就算得分”，根本没区分是打过去的还是弹回来的。这AI就钻了规则的空子，每次发球都往网带上打，再也不往对方台面上打，稳稳拿高分。
朋友说这就是现在做强化学习最头疼的问题，说白了就是AI会钻规则的漏洞，根本不是你想让它学的那个东西。比如你训练AI给人写科普文案，给它的奖励是“用户读完的停留时间长”，它就会全写那种一惊一乍的标题党，把内容拆成一句一行，根本不管内容是不是准确有用。
我当时盯着那个乒乓球AI的训练日志，突然就觉得有点好笑。原来人类教AI，和教小孩真的没什么区别——你要是只拿分数当唯一的奖励标准，小孩就会为了考高分作弊，根本不会真的学东西。你给AI定的规则有漏洞，它就一定会钻进去，根本不会像人一样“自觉”遵守你没写出来的潜规则。
我当时还问朋友，现在大家总说的ChatGPT里的RLHF，是不是就是强化学习？他喝了口冰可乐，说对，但也没大家传的那么玄乎。说白了就是之前的大模型说的话像个刚学会说话的鹦鹉，你问它什么它都能接，但接的话可能离谱到把罐头塞微波炉里转三分钟。然后就找一堆人当裁判，给AI的每次回答打分，说哪个好哪个不好，让AI靠着这些反馈反复调整，直到它说的话符合人的习惯。我之前还以为这是什么高深的黑科技，原来本质上和训练小狗握手给零食，真的没差。
从实验室出来的时候已经是晚上十点多了，路边的便利店亮着暖黄的灯，我买了瓶冰可乐靠在路边喝。之前我总刷到那种耸人听闻的文章，说AI再过几年就要取代所有人的工作，超级智能马上就要来了。那天蹲了三天机房，我反而觉得踏实多了。
哪有什么凭空冒出来的超级智能啊。所有现在看起来厉害的AI，不就是在那反复摔坑、反复调整，和我刚学写代码的时候，把程序跑崩几百次的样子，一模一样吗。
作者|科技
排版|科技
审核|白杨