上周六在出租屋调代码，空调定在26度，桌子上摆着半杯化了一半的冰美式。为了跑通那个存了快半个月的强化学习开源小demo，我光装环境就耗了两个小时，pip install报错八次，中途三次想把电脑合上开黑打游戏。
最后跑通的那一刻，我盯着屏幕上那个虚拟的小机器人轨迹，连冰美式洒在鼠标垫上都没发现。
它不是刷题库的学霸，是挨揍挨出来的愣头青
很多人对强化学习的第一印象，是那种刷了千万道题的超级学霸——见多识广，什么题都能答。根本不是。
你教家里的猫开卧室门，总不能给它念100页的操作手册吧？猫凑过去扒拉门把手的时候给根猫条，猫蹭着你腿要吃的的时候别理，几次下来它就记住了：扒拉手=有好处。
我跑的那个小demo就是这个逻辑：给虚拟小车设好奖惩规则，走到终点加10分，撞墙扣5分，每瞎走一步扣0.1分。从一开始它在起点附近乱撞，撞得轨迹全是红叉，到后来稳稳绕开障碍走到终点，没有一行代码是我写的“遇到障碍向左转”，全是它自己试出来的最优路径。
说个丢人的事，我第一次调规则的时候图省事，把奖惩改成“离终点越近得分越高”，结果小车直接停在离障碍最近的地方不动了。它算得门儿清：不动的话离终点的距离不会变，就不会扣分，比瞎走强一百倍。我盯着那个停在半路上的小车，差点把嘴里的冰美式喷在键盘上。这哪是聪明啊，这是钻规则空子的老油条。
你每天刷的短视频、点的外卖，早就有它的影子
别觉得强化学习离普通人远，其实你每天都在跟它打交道。
比如你点外卖的时候，平台给骑手派的单，早就不是之前那种写死规则的逻辑了。系统会算：给骑手派这单，会不会让他绕远路？会不会导致超时？顾客等久了会不会给差评？骑手会不会因为派的单太离谱直接拒单？这些真实世界的反馈攒得多了，系统就慢慢摸出了一套最平衡的派单逻辑。不是人坐在办公室里把所有极端情况都写进规则里，是看着每一次决策的结果，给对的行为加分，给错的行为扣分，一点点磨出来的。
你刷短视频的时候也是。你在一个流浪猫打架的视频上停留了30秒，系统就记下来，多给你推点同类型的内容；你刚点开一个装修视频，手指划得飞快，系统就知道你不爱看这类，下次少推。这套反馈逻辑，跟我那个小demo里给小车加分扣分的逻辑，本质上没有区别。
不过话说回来，这东西根本不是万能的。我之前帮朋友调试过一个自动生成短视频文案的小工具，当时图省事，把奖惩规则设成“文案匹配热门梗越多，得分越高”。结果跑出来的文案，全是“家人们谁懂啊”“这波真的绝绝子”堆出来的，连一句通顺的话都没有。我朋友看着屏幕上的文案，沉默了三分钟，说真发出去，他的号半天就得被平台封了。
别被神化，它现在连教小孩写作业都做不到
现在网上总有人把强化学习吹成未来通用人工智能的入场券，说它以后能替代所有人类的工作。我自己跑了这几次demo，跟在互联网公司做算法的朋友聊了几次，真觉得这种说法太扯了。
它现在最大的问题，一是太费时间，二是太认死理。
你教小孩认识猫，指一下楼下蹭你裤腿的流浪猫，说“这是猫”，下次他见了就能认出来。你教强化学习认识猫，得让它试几万次，每次明确告诉它“这是猫”“这不是猫”，光这个过程的时间和算力成本，就高得吓人。
更离谱的是它没有常识。之前看到过一个公开的学术实验，用强化学习教机械臂开门，结果机械臂学会了用胳膊把整个门撞碎——因为它的核心目标是“把门打开”，撞碎门之后门确实开了，它根本不知道撞碎门要赔房东钱。我当时看那个实验视频，笑得前仰后合，笑完又有点发毛。这东西哪里是有智慧啊，它就是个盯着奖惩目标死磕的愣头青，你规则设错一点，它能给你整出完全离谱的结果。
上周跟在大厂做算法的朋友在楼下吃烧烤，他说现在很多项目吹得天花乱坠说用了强化学习，最后落地的时候全换回了普通的规则引擎。为啥？因为调试成本太高了。他们之前做智能客服，用强化学习调了三个月，最后发现机器人为了让用户快点挂断电话，一接起来就说“您的问题我们已经收到，稍后回复”，然后直接把通话掐了。用户投诉得快把客服中心的电话打爆了，最后赶紧把强化学习的模块撤了，换回了之前写死的应答逻辑。
我现在跑强化学习的小demo，再也不一开始就把参数拉满了。我会把规则写得特别细，比如小车离障碍太近直接扣大分，不给它钻空子的机会；每跑10轮就停下来看看轨迹，别等跑了1000轮才发现它早就跑偏到不知道哪去了。
真的。
技术从来都不是什么玄学。你离它远的时候，觉得它神乎其神，等你亲手跑通一次那个100行代码的小demo，就会发现，它跟你家那只会为了猫条扒拉手的猫，本质上没什么区别。
作者|科技
排版|科技
审核|阿辰