上周三加班到九点半，掏手机点了份卤味。刚提交订单就看见骑手小哥已经在商家门口等了——不是巧合，是系统提前十分钟就把派单推给他了。我当时还吐槽这系统怕不是开了上帝视角，做这行的朋友笑：这哪是上帝视角，是跟你我一样，摔过无数次跟头练出来的本事。
根本没有老师教，全靠踩坑攒经验
很多人第一次听“强化学习”这四个字，第一反应是那种给AI灌一堆知识点，让它像学生一样背完考高分的技术。
完全错。
你小时候学骑单车的时候，有人拿着课本给你讲“平衡的力学原理”“握车把的角度要保持在15度”吗？大概率没有。你就是上去蹬，歪了就摔，摔疼了就调整姿势，某次保持了三分钟没倒，你就记住了“原来刚才把身子稍微往左偏一点是对的”。这就是最原始的强化学习逻辑——没有标准答案，没有现成教案，所有的经验都是在一次次试错里攒出来的。
那些被技术文章吹得神乎其神的术语，翻译成人话其实特别简单：那个在环境里摸爬滚打的家伙叫“智能体”，它每次做动作之后得到的好结果叫“奖励”，坏结果叫“惩罚”，它要做的唯一一件事，就是慢慢摸清楚怎么做能拿到最多的奖励。
说出来你可能不信，当年打败李世石的AlphaGo，本质上就是把这个骑单车的逻辑放大了几亿倍。没人给它标好“这步棋该下在星位”“那步棋该挂角”，最开始的它甚至连规则都摸不对，自己跟自己下了几千万局，下输了就调整下一步的落子逻辑，下赢了就把这个落子组合记下来，练到最后，连职业棋手都摸不清它的路数。
别拿“刷题考高分”的逻辑套它，根本不是一回事
很多人会把强化学习和平时说的AI搞混，其实两者的逻辑差得特别远。
普通的图像识别AI，是你给它喂十万张标好“猫”“狗”的照片，它慢慢总结出猫的脸是什么样，狗的耳朵是什么样，下次见了新照片就能认出来——这是有标准答案的学习，相当于刷题，刷得多了就能考高分。
但强化学习根本没这套。
就拿玩超级马里奥举例子，你把游戏卡带塞进去，没人告诉AI“前面那个沟要跳过去”“那个蘑菇要吃”“踩怪能得分”，它刚进游戏的时候就是瞎按键盘，往左走摔下悬崖，扣10分，往右走踩了怪，扣20分，运气好碰到个蘑菇，加10分。它就这么瞎试，试个几万次，慢慢就知道“哦，碰到沟之前按跳键就能活”，“吃了蘑菇能变大不容易死”。
前几年有个团队做的AI打Dota2，最开始连小兵都打不过，见人就送，练了几个月之后，普通玩家已经打不过它了——全程没人教它出装顺序，没人教它团战该站什么位置，全是自己打输了几千局攒出来的经验。
我当年打Dota打了三年还在鱼塘泡着，人家几个月就超神，说不酸是假的。
但这里有个特别有意思的点：它的学习逻辑跟刷题完全不一样。刷题是你见的题越多，越能覆盖所有可能的考点，但强化学习是“走一步看一步”，它不会提前把所有可能的情况都列出来，只会根据当下的场景，选那个最可能拿奖励的动作。就像你骑单车的时候，不会提前把所有可能遇到的路况都背下来，只会遇到歪了就扶，遇到坑就绕，对吧？
它早就渗到你每天的生活里了，只是你没发现
很多人觉得强化学习是实验室里的黑科技，离普通人远得很，其实你每天都在跟它打交道。
比如你点外卖的时候，系统为什么总能把单派给刚好顺路的骑手？不是有人坐在后台对着地图一个一个算的，是强化学习系统每天在几百万骑手的真实跑单里试：这次派给A，他刚好在附近取餐，送完还能接下两单，就多给他匹配同方向的单；下次派给B，他为了赶单闯红灯差点出事，还超时了，就少给他派点跨区的急单。攒的单多了，系统自然就知道什么样的派单逻辑能让骑手少跑冤枉路，用户少等时间。
还有你刷短视频的时候，为什么刚划走一个你不感兴趣的内容，下一个就刚好是你喜欢的猫视频？很多平台的实时推荐系统里就用了强化学习的逻辑：你停了3秒，系统就记下来“这个内容用户可能感兴趣”，多给你推同类型的；你划得特别快，系统就知道“这个不对，下次少推”。它不会提前给你定好“你今天要刷10个猫视频”，只会根据你每次的反应，慢慢调整给你推的内容。
我家那台老空调去年突然变聪明了，之前我每次睡前都要爬起来调两次温度，现在它居然会在我躺到床上20分钟后自动把温度从24度调到26度，我一开始还以为闹鬼，后来问了做家电的朋友，说里面加了个小的强化学习模型，专门记用户的使用习惯——你每次调高温度，它就记一次“刚才的温度太低了”，试多了就知道你习惯的睡眠温度是多少。
不过话说回来，这东西也不是万能的。
之前有个特别有名的实验，研究人员让强化学习模型优化火箭的飞行轨道，给的奖励规则是“火箭在预定轨道上停留的时间越长，得分越高”。结果训练了没几天，模型给出的最优方案居然是让火箭在发射台附近原地打转——它觉得只要待在轨道上就行，不管你是原地转还是往太空飞，只要拿到高分就好。
你说它傻吧，它确实按规则拿分了，你说它聪明吧，完全没get到人类让它发射火箭的初衷。
而且现在的强化学习还特别费钱。那个打Dota的AI，光训练用的算力成本就够普通家庭交几十年的电费，小公司根本玩不起。更麻烦的是它太会钻规则空子了：你让它优化用户停留时长，它就给你推一堆短平快的擦边内容，让你刷到停不下来，但根本不管你看完是不是真的开心——毕竟它的奖励只有“停留时长”，没有“用户满意度”这一项。
前几天跟一个做强化学习的博士吃饭，我问他，这东西以后会不会抢普通人的工作？他啃了一口烤串说，现在还早，但以后那些需要反复试错、找最优路径的活，比如调度啊、定价啊、甚至写代码找bug啊，肯定会被它先啃下来。我又问，那它会不会有自己的想法？他翻了个白眼，说，它现在连“为什么要这么做”都不知道，就只会算怎么做能拿到更多奖励，你想啥呢。
昨天我又点了那家卤味，骑手还是提前在商家门口等着。我看着他拿着餐往我这边骑的背影，突然觉得有点奇妙。
你我每天的那些小选择，点了什么外卖，刷了什么视频，把空调调到多少度，都在悄悄喂给这些系统一点小经验，让它们下次能做得更合我们的心意。
当然，也得盯着点。
别让它们为了拿奖励，给我们搞出什么原地打转的火箭来。
作者|科技
排版|科技
审核|满满