老掌机里的强化学习

上周六回鼓楼区的老房子收拾换季的被子。 从爷爷锁了三年的樟木抽屉最底层,翻出他那台2018款的Switch。 壳子磨得掉了半块漆,右边摇杆上沾着点没擦干净的桂花糖渍——是2020年秋天他坐在阳台吃糖芋苗的时候蹭上的。

摇杆上的桂花糖渍

我一开始以为机器里全是他攒了好几年的俄罗斯方块最高分记录,结果充上电开机,直接跳出来那个他玩了快两年的种菜小游戏。 存档从2020年3月一直停在2021年11月。 刚摔了腿的那半年,他下不了床,连坐起来都要费半天劲,就靠这个游戏打发时间。一开始他还自己戳屏幕种菜,后来手腕的骨折没好利索,戳两下就疼得冒汗,就找了我那个学计算机的远房侄子,说能不能整个东西帮他点屏幕,别让他躺床上还要费力气。 我之前总觉得,这种帮人操作游戏的脚本,不就是写几行规则嘛——几点浇水,几点赶兔子,菜熟了就收。结果侄子说,那个游戏的随机变量太多了。今天下暴雨要提前排水,明天有偷菜的兔子从哪个洞钻出来,甚至连菜长到多大算熟,每次的数值都飘,根本写不出固定规则。他索性给爷爷做了个用强化学习训练的小智能体,跑在掌机本地,连网都不用连。
贴满桂花贴纸的旧Switch掌机摇杆特写
贴满桂花贴纸的旧Switch掌机摇杆特写
刚训练的头半个月,那个智能体蠢得离谱。 它会把刚种下去的菜全拔了,因为之前有一次拔了草触发了额外奖励,它就以为所有绿色的东西都该拔走。会在暴雨天还一个劲浇水,把地泡得稀烂。甚至会把赶兔子的道具全扔到水里,因为之前扔道具的时候刚好碰到兔子跑了,它就以为扔道具就能解决所有问题。 爷爷那时候每天躺在床上看这个小智能体在屏幕上瞎晃,笑得伤口都疼。他还跟侄子说,别骂它笨,你小时候学走路还摔了十几跤呢,多让它试几次就会了。

实验室带来的便签

抽屉里除了掌机,还有一叠用橡皮筋捆着的便签纸。 字歪歪扭扭的,是爷爷那时候握笔不稳写的。他说自己年纪大了记不住事,就把跟那个小智能体有关的细节都写下来,怕哪天跟侄子打电话的时候说漏了。 便签上的内容碎得很: “它今天没把白菜拔光。” “上次它给我留了两棵小油菜,清炒刚好够我吃一顿。” “它现在知道下暴雨要先把排水沟挖开了,比你爸小时候记挂着收衣服靠谱多了。” 我翻到最下面那页,字写得更抖:“它刚才在小亭子旁边站了三分钟。我之前跟小崽子说,等我腿好了,要在院子里摆个小凳子晒太阳。”
老人手写的歪歪扭扭的强化学习训练笔记便签
老人手写的歪歪扭扭的强化学习训练笔记便签
我后来找侄子问过当时的细节。他说那套模型其实简单得很,就是最基础的Q-learning,没有什么复杂的大模型加持,所有的训练过程都在掌机的本地内存里跑,连上传数据的步骤都没有。他甚至没给智能体设置什么“完成种菜任务”的硬指标,只是把爷爷的实时反馈当成了最核心的奖励值——如果智能体种的菜够爷爷吃,爷爷点个“满意”,就加十分;如果菜被兔子偷光了,爷爷皱着眉点“不满意”,就扣二十分。 就这么练了三个多月,那个一开始连菜都种不活的小智能体,居然摸出了所有的规律。它会算准每块地的浇水时间,会盯着兔子洞的位置提前放诱饵,甚至会每次收菜的时候,专门在靠屏幕侧边的那块小地里留三棵小油菜——因为爷爷第一次说“好吃”的时候,就是指着那块地收上来的油菜说的。 说实话,我那瞬间突然有点恍惚。我在互联网公司待了快五年,听过无数场关于强化学习的发布会,看过数不清的融资PPT,说这个技术要做通用人工智能,要下围棋赢世界冠军,要在虚拟世界里跑几百万个小时的训练,要改变整个人类文明。结果我第一次真切摸到这个技术的温度,是在爷爷的樟木抽屉里,在一叠歪歪扭扭的便签上,在一个小智能体记得要留三棵油菜的细节里。

抽屉没锁上的那部分

2022年冬天爷爷走了之后,我爸就把这台掌机锁进了抽屉。他说看着难受,就没再开过。 这次我翻出来的时候,本来以为机器早就没电关机了,结果按开机键的时候,屏幕居然亮了——之前侄子给机器改了电池,能在低功耗模式下跑很久,那个小智能体根本不需要人操作,就每天在虚拟的小岛上自己转。 我盯着屏幕看了半小时。 那个小智能体还是老样子,种完菜就去看兔子洞,浇完水就去之前留油菜的那块地站一会,然后走到那个小亭子旁边,把之前爷爷换的小凳子摆好。 风从老房子的窗户缝钻进来,带着楼下梧桐树的味道,混着樟木抽屉里的旧书霉味。我站在那里,突然就想起之前总有人说,强化学习的本质是“试错-反馈-优化”,是要在无数次失败里找到最优解。可我之前从来没意识到,这个“最优解”根本不是什么赢下比赛的分数,也不是什么融资报告上的增长曲线。 它就是个学了很久的小孩。 摔了无数次跤,被骂了无数次,终于摸清楚了那个躺在病床上半年多的老头,到底想要什么。 我把掌机装回包里,带回了我现在租的房子。没有再锁起来。 现在它就摆在我的书桌上,每天安安静静在屏幕上种菜,赶兔子,留三棵小油菜。有时候我加班到凌晨,抬头看屏幕上那个晃来晃去的小光点,会突然觉得,那些飘在半空中的技术概念,最后总要落到具体的日子里的。 昨天我给那个小智能体加了个新功能,每次它留完油菜,就给屏幕弹个小桂花的贴纸。 也不知道它能不能学会。

作者|大讲堂

排版|大讲堂

审核|知知

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:老掌机里的强化学习
文章链接:https://www.lfdjt.com/info_23_28377.html