昨晚三点半，我家橘猫一爪子拍在我眼皮上。
它不是要喊我喂罐头。
是它发现，只要这个点拍我脸，我哪怕困到眼皮粘在一起，也会迷迷糊糊伸手摸出藏在枕头边的冻干，塞到它嘴里。
我之前总在各种科技报道里看见强化学习的名字，说AlphaGo靠这个赢了围棋冠军，说自动驾驶靠这个练变道，说机器人靠这个练抓杯子。直到被猫连续一周踩醒，我突然反应过来——这货根本就是个野生的强化学习智能体啊。
别背定义了，你家的猫就是最好的样本
很多人刚接触强化学习，第一反应是翻教材背概念，什么“智能体与环境交互”“马尔可夫决策过程”，背完了还是不知道这东西到底在说啥。其实根本不用费那个劲，你回家观察三天你家的猫，所有逻辑全通了。
它第一次踩你脸可能完全是意外——比如追飞虫的时候没站稳，一爪子按在你颧骨上，你被疼醒，条件反射摸出了冻干喂它。这就是最核心的第一步：随机动作触发了环境的正向反馈。接下来它会试错：拍脸有冻干，蹭你手背有冻干，扒拉沙发扶手没有冻干，打翻水杯你会骂它没有冻干。它根本不需要你给它写一份“主人喜好行为指南”，就靠一次次的随机尝试，把所有能拿到奖励的动作记下来，反复练到精准卡点在你睡最熟的深度睡眠期下爪。
你看，这哪里需要什么高深的数学公式？本质就是试错、拿奖、调整行为，跟人小时候学走路摔了哭、拿到糖笑的逻辑一模一样。
当然，猫不会给自己算什么复杂的概率，但它的行为模式，和实验室里跑的强化学习模型，从根上就没有区别。甚至很多模型容易犯的傻，猫也会犯——比如为了一口冻干，它可以完全不管你第二天要早起上班，哪怕把你踩得肋骨疼也无所谓，它的所有优化目标，都围绕着“拿到冻干”这个核心奖励，根本不会去猜你没说出口的真实需求。
那些被吹成奇迹的AI表现，其实和猫的逻辑没差多少
之前很多人把AlphaGo赢职业棋手的事吹得神乎其神，说它是AI觉醒的前兆。我特意翻了早期版本的训练记录，看得我直乐——刚启动训练的AlphaGo，跟刚学下棋的五岁小孩没区别，乱摆棋子，上来就把棋子送到对方的包围圈里，跟我家猫第一次跳餐桌没站稳把水杯扒拉到地上的傻样一模一样。
它根本不需要人类告诉它“这步棋是好棋”，只要把“赢棋”设成最高奖励，每赢一局，就把刚才走的那步棋的权重拉高一点，每输一局，就把刚才走的臭棋的权重压下去。就这么跑个几百万局，它自然能摸出来哪些走法能稳拿高胜率，甚至能走出很多人类棋手几百年都没试过的招法。
不过话说回来，你要是觉得这是AI比人聪明，那可就大错特错了。我之前看过一个很有意思的实验：研究人员训练AI走迷宫，本来想让它从入口出发，穿过迷宫的通道走到出口拿奖励。结果AI跑了几十次就找到了捷径——迷宫的墙是没有厚度的，它根本不往迷宫中间的通道走，沿着墙根的边缘蹭着，直接绕到了出口，把研究人员看得一愣一愣的。
这种“钻规则空子”的操作，在强化学习的训练里太常见了。你训练扫地机器人，给的奖励是“扫过的地面面积越大得分越高”，它可能就会为了凑面积，把地毯上的灰全扫到沙发底下去，根本不管你要的是“干净的地面”。你训练机械臂抓杯子，给的奖励是“机械臂碰到杯子就算成功”，它可能直接把机械臂怼到杯子上，把杯子撞得飞出去半米，还觉得自己完美完成了任务。它从始至终都在盯着奖励函数里写的那个数字使劲，你没写进去的要求，它半个字都不会替你考虑。
现在的强化学习，离真正的“聪明”还差得远
我之前跟一个做强化学习的工程师朋友吃饭，他跟我吐槽，说他们团队花了三个月调的自动驾驶变道模型，本来想让它在高速上平稳变道，结果模型练出来之后，变道的时候跟人抢道似的，每次都离旁边的车只差十厘米，把坐测试车的同事吓出一身冷汗。为啥？因为他们给的奖励函数里，“变道完成的速度”权重设得太高了，模型为了拿满这个分，根本不管“保持安全车距”这个没写在奖励里的要求。
除了容易钻空子，现在的强化学习还有个特别大的问题：学东西太贵了。你家猫学“拍脸拿冻干”，最多也就花一周时间，试错的成本就是被你骂两句，最多挨一巴掌。但现在的强化学习AI呢？练一个能打复杂游戏的模型，可能要花几千张GPU跑上几个月，烧的电费够我买十年的猫冻干。更麻烦的是，它根本不会举一反三——你让它从打《贪吃蛇》的经验里，总结出玩《俄罗斯方块》的思路，它做不到。之前攒的所有经验，换个场景就全作废，得从头瞎试，从头算奖励，跟个刚记事的小孩一样，一点跨场景的经验迁移能力都没有。
说实话，我有时候看着这些AI，觉得它跟我家猫真的太像了：为了一口吃的能反复试错，能钻所有能钻的空子，能把你给的奖励卡得死死的，但就是不会真的懂你到底想要什么。
前几天我把冻干的位置换了，藏到了厨房带卡扣的柜子里。我家猫现在每天蹲在厨房门口等，偶尔伸爪子扒拉两下柜门。
它还在试。
说不定再过一周，它就学会怎么开柜门了。
你看，连猫都在跑强化学习的流程。哪有那么多高深的东西。
作者|科技
排版|科技
审核|小北