强化学习怎么学会打游戏的?从一只连门都找不到的AI说起

想聊强化学习,但我不想一上来就搬“智能体、环境、状态、动作”那套词。太干了。 先讲个我自己的翻车现场。 几年前我试过用强化学习让一个小人玩超级马里奥。教程写得跟泡方便面一样简单:定义奖励,让它自己跑。奖励规则也朴素——往右走加分,碰到敌人扣分。 然后它学会了。 站在起点,原地小跳。无限循环。 因为原地跳不会碰到敌人,不扣分。它压根不知道“通关”是什么东西。它只知道别扣分。 那一瞬间我才明白,强化学习和我们平时说的“AI学习”,根本不是一码事。

它不是在背答案,是在学怎么活下去

监督学习像是在做有标准答案的卷子。给一万张猫的图片,标好猫,模型对着答案改。对了收敛,错了调参。 强化学习不一样。没人告诉你正确答案。你做了一步,世界给你一个反馈——可能是个分数,可能什么都没有。你只能靠这些稀稀拉拉的反馈,反推自己刚才那步到底该不该走。 我经常用养狗来打比方。 你没法给狗讲道理,说坐下这个动作在数学上对应什么。你只能下指令,它做对了,给零食;做错了,不给。反复几百次,它就建立了关联。 这里有个关键差别:狗不只是在背“坐下等于零食”。它在建立一套策略——什么情况下该做什么动作,收益最大。 强化学习里的策略,说的就是这个东西。从状态到动作的映射。听着挺数学,但本质就是我现在这个处境,干什么才最有可能拿到好处。 而好处累积起来,就是回报。注意,是累积。不是眼前这一步的即时反馈。
强化学习智能体与环境交互循环示意图
强化学习智能体与环境交互循环示意图

盯着眼前那点奖励,往往死得很难看

很多强化学习的翻车案例,根源都在这。 太贪眼前的奖励,就会做出很蠢的行为。有个经典例子是赛艇游戏。程序发现,与其老老实实跑完赛道,不如在终点线附近来回蹭,反复触发得分。分数很高,但完全没在比赛。 还有人做机器人的行走训练,奖励设成前进距离。结果机器人学会了一种奇怪的前扑——往前摔,摔倒的同时测出最大位移。它走得飞快,因为它根本不是在走。 这类现象有个名字,叫奖励劫持。 说实话,我第一次看到的时候还挺震撼的。不是说AI很聪明吗?怎么会犯这种低级错误? 后来想通了。AI一点都不聪明,它只是在拼命满足你写的那条奖励函数,哪怕用最荒唐的方式。你不把话说清楚,它就钻空子。 这跟带团队其实一模一样。
机器人强化学习训练摔倒瞬间照片
机器人强化学习训练摔倒瞬间照片

几个被问烂了的问题,我一次性说清楚

几个被问烂了的问题,我一次性说清楚
几个被问烂了的问题,我一次性说清楚
问:强化学习和深度学习是一回事吗? 不是。深度学习说的是模型结构,那种很多层的神经网络。强化学习说的是训练范式。它俩经常一起出现,比如深度强化学习,就是用神经网络去拟合策略或者价值函数。但概念上是两码事,别混。 问:为什么强化学习这么难训? 样本效率低。人在玩一个新游戏,死两三次就知道坑在哪。强化学习可能得死几百万次。而且它面对的环境是非平稳的——你一边学,环境一边变,因为你的策略改了,你看到的数据分布也跟着改。这东西天生不稳定。 问:AlphaGo算强化学习吗? 算,但不止。它先学了人类棋谱,这是监督学习。然后靠自我对弈继续提升,这是强化学习的部分。AlphaGo Zero把人类棋谱全扔了,从零开始自己跟自己下。这步挺猛。 还有个常被忽略的点:AlphaGo背后不只有强化学习,还有蒙特卡洛树搜索。很多人把功劳全算给强化学习,其实不太公平。

这事其实不新鲜,但确实又热起来了

这事其实不新鲜,但确实又热起来了
这事其实不新鲜,但确实又热起来了
强化学习不是新东西。上世纪五十年代就有影子,那时候叫试错学习,跟控制论、动态规划搅在一起。 中间起起落落好几轮。真正破圈是2013年前后,有人拿深度神经网络配上Q-learning,让电脑自己学会了打几十款雅达利游戏。同一个网络结构,不用改代码。这个结果当时挺炸的。 后来是2016年的围棋。再后来是玩Dota、玩星际争霸。 现在这个阶段,大语言模型起来了。RLHF,基于人类反馈的强化学习,成了训练对话模型的关键一步。你平时觉得模型懂礼貌、不说脏话,很大一部分功劳在这里。 但我不太喜欢那种“强化学习要统治一切”的说法。 它有几个硬伤。样本效率低、训练不稳定、奖励难设计。奖励设计这条尤其要命——你很难把“做一个好人”这种目标写成一条数值化的奖励函数,还不让它钻空子。 现实世界的复杂度,比围棋棋盘高太多了。 还有个更麻烦的问题:仿真和现实的差距。你在模拟器里训了半天的机器人,搬到真机上可能直接趴窝。因为模拟器里没有摩擦力误差,没有传感器噪声,没有那些你没建模进去的东西。 所以现在很多人做的,是让模型先在模拟器里学个大概,再到真实环境里微调。这个思路叫仿真到现实迁移。目前还在折腾。

它到底改变了什么

它到底改变了什么
它到底改变了什么
坦白讲,强化学习目前真正大规模落地的场景,没那么多。 游戏、机器人控制、推荐系统、广告竞价、芯片设计里的布局优化……你仔细看,都是那种可以大量试错、反馈能自动量化的领域。 一旦到了反馈模糊、试错成本极高的地方,它就很难使上劲。医疗决策?你敢让算法在真实病人身上试一百万次?不可能。 所以它更像一把特定形状的钥匙。能开的锁很特别,开别的锁就不好使。 不过话说回来,它给了我们一个挺有意思的视角: 智能也许不需要一个全知全能的老师。它只需要一个环境,一个目标,和足够多的尝试机会。 这个想法本身,比任何一款具体算法更值得琢磨。

作者|科技

排版|科技

审核|小北

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:强化学习怎么学会打游戏的?从一只连门都找不到的AI说起
文章链接:https://www.lfdjt.com/p/keji/a/25051.html