强化学习：AI躲猫猫背后，那个会自己摸黑走路的笨小孩-大讲堂

去年刷到OpenAI那个AI躲猫猫的演示视频，我笑了快十分钟。一群AI在方块地图里，一半当躲的人，一半当找的人。规则只有一条：躲的人在时间结束不被找到拿分，找的人找到就拿分。没人教任何技巧。玩着玩着就出怪事了。躲的AI居然学会了把箱子堆起来堵门。后来还学会了卡地图边界的bug，直接钻到找不到的地方去。

从躲猫猫的bug，看强化学习到底在干吗

好多人看完只当看个乐，说AI真会开挂，其实这就是最典型的强化学习。和我们平常说的AI不一样啊。平常说的AI训练，都是把一堆标好“这是猫这是狗”的数据喂进去，让它背规律。强化学习从一开始，就没人给它标过正确答案。它就像小时候被你妈扔出去学骑自行车的你。你妈只说“别摔，摔到了疼”，“骑到对面给你买冰淇淋”。剩下的？你自己歪歪扭扭撞树撞墙去。哦对，就是这么回事。它的核心逻辑特别朴素：做对了给糖，做错了打板子，试多了就会了。很多人把它吹得玄乎，扯一堆马尔可夫决策过程之类的术语，普通人听了就头大。剥开术语看本质，和你学走路、学骑车、学打羽毛球没区别。你打羽毛球接发球，接十个，下网三个出界四个，慢慢就知道拍面要抬多少度，要用多大劲了。没人从一开始就给你说每一步的精准参数，摔几次错几次，自己就调过来了。强化学习干的就是这事。它不是背人类给的答案，它是自己在黑暗里摸，摸对了就记住，摸错了就下次换个方式，摸的次数多了，自然就走出路了。

别被神话骗了，它现在真的还很笨

AlphaGo下围棋赢了人类，大家就说强化学习已经超越人类了。这话真的经不住推敲。 AlphaGo下围棋，是在一个规则完全固定、所有变化都在棋盘里的封闭环境，它可以在模拟器里和自己对下几百万局，烧几千万的电费练出来。换到现实世界呢？你让它学开车，能让它撞几百次人试错吗？不可能。说实话，现在大部分吹得神乎其神的强化学习成果，都躲在模拟器里。

我之前看过一个高校实验室的公开测试，让强化学习训练机械臂开门，在模拟器里练了几万次，终于能百分之百打开了。换了个带弹簧的门，把手方向反过来，它直接傻了，对着门晃十分钟都打不开，又得重新练几万次。就是这么笨。它学会的永远是训练场景里的最优解，环境稍微变一点，它就不认得了。而且还有个绕不开的问题。太烧钱了。小团队根本碰不起。随便一个稍微复杂点的任务，就得堆一堆高端显卡跑好几个星期，钱烧得像水一样。不过话说回来，这也不能怪它，它本来就是靠试错吃饭的，试得越多才越准，天生就吃算力。现在好多人吹的通用人工智能，说强化学习很快就能造出来，听听就算了，离落地还远着呢。

最值得期待的方向，其实离我们的生活更近

现在大家都喜欢盯着游戏、围棋这些博眼球的东西，其实真正让我觉得有意思的，是它在那些传统方法解决不了的问题上的应用。比如说新药研发。你要找一个能对应病毒靶点的蛋白质分子结构，传统方法要科学家一遍一遍做实验，几年才能出一个结果。用强化学习呢？你把规则定好：能结合靶点给分，结构不稳定扣分，它自己就在虚拟环境里试，慢慢摸出最优的结构，时间能缩到原来的几十分之一。这两年已经有不少研发团队用这个思路找候选药物了，速度比之前快了不是一点半点。再比如说城市的路口信号灯调度，每个路口的车流量每时每刻都在变，早高峰和晚高峰不一样，下雨和晴天不一样，学校放假和开学也不一样，人工写规则怎么可能写得完？用强化学习，根据实时车流调整配时，试得多了，反而能调出比人工经验好得多的方案，国内不少新一线城市已经落地试行了，早晚高峰的拥堵能降好几个百分点，路过就能感觉到，不是什么遥不可及的黑科技。还有现在的家用服务机器人，之前的机器人做个拿杯子的动作都抖半天，杯子歪一点就拿不住，得工程师重新调整参数。用强化学习训练之后，碰到歪的杯子，滑的杯子，也能自己调整姿势拿起来，不用人类改一行代码。当然，现在问题还是一大堆。试错成本降不下来，换个场景就懵，这些坎都没过去。但你回头想想，十几年前谁能想到AI能随手识别脸，能实时翻译外国话啊？不都是一步步从笨小孩熬过来的？强化学习现在就是那个刚学会走路，还总摔跤的小孩，你不能要求它现在就跑赢博尔特，但是你得承认，它走的方向，和之前的AI完全不一样。之前的AI都是人类喂知识，喂多少会多少。它是自己学着长本事，摸错了自己改。就冲这一点，它就值得多等等看。

作者|科技

排版|科技

审核|白杨

强化学习：AI躲猫猫背后，那个会自己摸黑走路的笨小孩

从躲猫猫的bug，看强化学习到底在干吗

别被神话骗了，它现在真的还很笨

最值得期待的方向，其实离我们的生活更近

文章目录

最新文章

热门标签