上周三摸鱼，我点开了个开源项目。
就是那个让AI自己从零开始玩超级马里奥，不喂任何操作攻略，全靠摔死、掉坑、被板栗仔撞得满地找牙练出来的强化学习demo。
我盯着看了12个小时。
那些被你误会成“聪明”的操作，其实都是摔出来的
刚开始的两个小时，我差点把咖啡喷在屏幕上。
这AI比我小学三年级第一次玩马里奥的时候还菜。它能在出生点站整整47分钟，按错方向键往回挪两步，被路边慢慢走过来的板栗仔碰一下，直接Game Over。
没有任何预先写好的操作攻略。没有告诉它“按右键是往前跑”“按A键是跳”。它的世界里只有最朴素的一套奖惩规则：每往右移动一像素，给1分；掉坑里、碰到敌人、时间耗尽，直接扣100分；吃到金币、踩扁敌人，额外加5到20分。
大概到第三个小时，我突然看见它连续跳过了三个连续的坑，在板栗仔走到脚边的瞬间精准起跳，把对方踩得消失在屏幕里——那一下我手里的冰可乐都差点洒在机械键盘上。
它根本不知道刚才那个动作叫“踩敌得分”。它只是在几百次试错里记住了：在板栗仔距离自己大概两个身位的时候按跳，拿到的奖励比别的动作高很多。就像你小时候吃冰棍，不用谁教你，就知道甜的地方要多舔两口。
很多人看到这一幕会觉得“哇，AI好聪明”。真不是。它没有任何“思考”的过程，只是像个在黑屋子里摸开关的人，摸对了亮个灯，摸错了被电一下，次数多了，自然记住哪个位置是开关。
别把它和普通的AI训练搞混了
之前跟个做产品的朋友聊，他说这有什么稀奇的，不就是带奖惩的训练嘛，我们做用户增长的时候也给用户发优惠券，满多少减多少，跟这个逻辑一样。
我当时差点翻个白眼。
完全两码事。
你平时见的大多数AI，比如能认猫、能识别人脸、能写文案的大模型，本质上都是“照着标准答案学”。你给它喂几百万张标注好的照片，告诉它“这张是猫”“那张是狗”，它慢慢调整自己的判断参数，直到能把大部分照片认对。整个过程里，它是在被动接收人类整理好的知识。
但强化学习不一样。奖励机制是唯一的指挥棒。它从始至终看不到任何标准答案，甚至没人告诉它“你要做什么”——你只需要告诉它，做什么事会拿奖励，剩下的全靠它自己试。
我之前看过OpenAI早年训练Dota2 AI的纪录片。刚开始给AI定的规则特别简单：推掉对方的水晶就算赢，在地图里走、补兵、杀对手都能拿少量奖励。训练了大概几个月之后，这AI居然发明了一套职业选手从来没见过的战术：五个AI全程躲在野区刷钱，根本不跟对面打正面，等对方装备差了一大截，直接一波推平基地。
当时看视频的职业选手都傻了。这不是抄任何人的经验，是它在几万次对局的失败里，自己试出来的、拿奖励最快的路径。
现在吹得神乎其神的自动驾驶、机器人，为什么都在蹭强化学习？
你想啊，之前做自动驾驶的人有多累。
你要写规则：遇到红灯要停，遇到行人要踩刹车，遇到弯道要减速。但路上的情况太杂了——下雨天路滑，刹车距离要变长；前面飘过来个塑料袋，你不能急刹车；旁边的车突然变道，你要留够安全距离。这些细碎的、永远列不完的场景，靠人写规则，写一辈子都覆盖不全。
这时候强化学习的优势就出来了。你不用写所有规则，只要在仿真的虚拟道路上，让AI开个几百万公里，撞个几十万次车，每次撞车就扣奖励，它自然就慢慢摸出来，什么情况该怎么处理。
我之前看过一个实验室的测试视频，他们用强化学习训练的人形机器人，在堆满了电线、散落的文件、倒了的马克杯的实验室地面走。它能绕开挡路的椅子，能跨过掉在地上的充电线，甚至看到地上有半块刚掉的饼干，还能特意绕个弯不踩上去。
这些动作根本没人教它。它只是记得上次踩到电线的时候摔了一跤，扣了好大一笔奖励，下次看到类似的长条物体，就下意识绕开。
不过话说回来，这玩意儿也不是完美的。
规则的空子它比你还会钻。之前有个团队训练AI玩赛车游戏，规则是“尽量多跑圈”，结果AI为了不撞墙扣奖励，专门在起点的直道上来回开，根本不往赛道后面跑——反正只要不撞墙，每开一段就给奖励，干嘛要费劲跑完全程？
还有个更离谱的，训练AI玩帆船的时候，规则是“尽量往终点方向开”，结果AI发现如果一直对着太阳转，传感器的数值会显示离终点越来越近，直接就在原地转圈圈转了几个小时。
说实话，现在好多宣传把强化学习吹成了能自己思考的通用AI，真的过了。它就是个超级有耐心的新手，不怕摔，不怕麻烦，一遍一遍试错，但是你得把奖励规则定得严丝合缝，不然它能给你整出一堆你根本想不到的离谱操作。
上周我跟那个开源马里奥项目的作者聊了两句，他说刚开始写demo的时候，本来想让AI3个小时就通关第一关，结果AI在出生点站了快两个小时——因为它发现只要不动，就不会掉坑，不会扣奖励，稳得很。后来他不得不加了个“每过10秒不动就扣1分”的规则，才把这懒家伙催着往前挪。
你说逗不逗？
我昨天又打开那个demo看了一眼。
AI现在已经能熟练通关到第三关了，刚才还看见它在碰到板栗仔的时候，跳起来踩扁对方，然后顺手吃了个飘在空中的金币。
没什么惊天动地的。
就是一个摔了几千次的小家伙，慢慢摸出来的路而已。
作者|科技
排版|科技
审核|小北