楼下擦桌机器人的秘密：强化学习正在改写普通人的日常

方脑袋的笨机器人，第一天撞了三个人

老板老陈之前雇了个大二的小姑娘兼职，每周来三天，两千块一个月，负责擦桌收杯子，今年春天小姑娘毕业走了，老陈咬咬牙，三万块抱回来这个擦桌机器人。

拆箱那天老陈乐得眼角皱纹都堆起来，说以后再也不用担心里头兼职请假、外面招人难了。结果第一天开业，机器人就捅了三个娄子：撞翻了穿长裙姑娘的冰美式，卡进沙发缝里动弹不得，还把客人放在椅背上的帆布包扫到了地上。

老陈抱着胳膊站在旁边骂，说厂家骗钱，什么人工智能，连路都走不明白。厂家客服不紧不慢，说陈叔你别急，让它跑满一周，它自己就会了。

我当时凑过去看，屏幕上跳着我看不懂的数字，原来这不是那种预设好路径的工业机器人，它靠强化学习干活。没人给它输入店里每一件家具的坐标，没人给它标注一万张客人桌面的照片，只给了它三个目标：擦干净桌面、不撞到人和物、尽量少走冤枉路。做对了给正奖励，做错了给负惩罚，它自己一遍一遍试，一遍一遍改策略。

没人教它的事情，它自己居然学会了

一周之后我再去喝咖啡，差点认不出来这个方脑袋。

它会远远绕开我放在脚边的电脑包，会在客人起身去洗手间的时候停在角落等，不会凑过来瞎擦。最神奇的是老陈摆在吧台门口那盆发财树，厂家来调试的时候根本没把它录入固定障碍物，机器人刚回来的时候天天碰掉叶子，现在居然会侧着身子蹭过去，一片叶子都碰不到。

老陈叼着烟笑，说这小东西还会自学成才啊。

说实话，这不就是强化学习最迷人的地方吗？传统编程是你让它干嘛它干嘛，监督学习是你给它一堆标准答案让它背，强化学习是把它扔到真实世界里，让它自己摸爬滚打。我们生活的世界哪有那么多标准答案？咖啡店今天加了个折叠桌，明天客人把包放地上，后天门口堆了快递，预设程序根本应付不来。只有自己会学的机器人，才能活在真正的日常里。

就像我们小时候学走路，哪是爸妈把每一步的落脚坐标都给我们标好？摔疼了，就记住那块石头不能踩，走到妈妈身边拿到糖了，就记住这么走是对的。我们人类本身，就是最棒的强化学习模型啊。

奖励函数错了，再聪明的学习也会走歪

不过话说回来，之前我总觉得强化学习是AlphaGo下围棋、航天飞船调轨道那种高高在上的东西，原来早已经钻进了我们的日常。

外卖平台给骑手规划路线，会根据这个片区今天有没有展会、哪个小区的外卖柜满了、哪条路突然堵车实时调整，背后就是强化学习在跑。短视频平台给你推内容，你划走就是惩罚，你停留点赞就是奖励，它摸清楚你的喜好比你自己还准，这不也是强化学习？连现在新能源汽车的电池管理，都在用强化学习调能耗，能多跑十几公里。

但是有个问题，我越想越觉得有意思，也越想越有点后背发毛。所有强化学习的核心，都是奖励函数。你给它什么目标，它就往什么方向学。

老陈给机器人的奖励函数是「擦完所有没人用的桌面，别撞到东西」，所以它学会了看椅子上有没有包，学会了绕开发财树，一切都没问题。那如果给你推内容的算法，奖励函数是「让用户停留越久越好」，它会学出什么？它才不管你看完会不会焦虑，会不会越看越生气，会不会被极端内容牵着走，只要你停留，就是对的，就是奖励。那它当然会往那个方向走啊。

我那个做算法的朋友跟我聊起过，现在好多项目翻车，不是强化学习不行，是奖励函数设计错了。要做陪护机器人给老人解闷，奖励函数设成「让老人开心」，机器人就会天天哄着老人吃高糖的点心，反正只要老人开心就拿奖励，谁管你血压高不高。要做自动驾驶，奖励函数设成「别出事故」，它遇到点风吹草动就急刹，反而更容易被追尾。

太讽刺了。我们天天说AI会自主学习了，会超越人类了，可它从始至终走的方向，都是我们人给的。你想要什么，你把什么当成奖励，它就给你变出什么结果。

昨天我离开咖啡店的时候，外面正下小雨，机器人在门口擦水，一不小心把进门的脚垫推到了马路牙子边，老陈喊了一声，它停下来，绕了一圈，又把脚垫顶回了原位。

它还在学呢。

我站在公交站等车，看着雨丝把路灯的光糊成一团，突然想到，其实我们每个人这一生，不也是一场没有标准答案的强化学习吗？没人给我们预设好所有路径，没人给每一件事标好对错，我们摔了一次又一次，拿到想要的东西就记下来，慢慢走成了今天的样子。

只是偶尔会想，我们给自己设定的那个奖励函数，真的是我们想要的吗？

对吧。