机器学习:它认得出猫,却说不清猫是什么

2012年之前,想让电脑认出一只猫,你得先写规则。猫有尖耳朵。猫有胡须。猫是四条腿的毛球。

然后你发现:蜷成一团睡觉的猫、只露半个屁股对着镜头的猫、站在窗台上逆光变成一坨黑影的猫——你的规则全塌了。写规则的人写到崩溃。

有人烦了,换了个思路。不写规则了,把几百万张图扔给它,让它自己琢磨。琢磨出来的那套东西,后来被叫做机器学习。

就这么朴素。没有灵光一闪,没有顿悟。

它其实一直在“下山”

很多人以为训练模型是在“教”。不太对。更像是在摸黑走路。

想象你被丢在一座完全看不见的山坡上,目标是走到坡底那道沟。眼睛没用。你只能蹲下来,用脚试探前后左右的坡度,哪边往下,就往哪边挪一步。挪一步,再试一次。

模型的参数,就是你在山坡上的位置。每次预测完,它会算一个“错得有多离谱”的数——这个数叫损失。然后往回推,看看每个参数往哪个方向调一点,损失会降得更快。这一步叫梯度下降。往回推的那套算法,叫反向传播。

所以“训练”这个词其实挺唬人的。它不聪明。它笨。它只是重复了几百万次毫不浪漫的试探。

神经网络反向传播梯度下降三维损失曲面示意图
神经网络反向传播梯度下降三维损失曲面示意图

有意思的地方在这儿。你真的可以把训练过程可视化——早期那些乱七八糟的参数,慢慢会浮现出边缘、色块、局部纹理。没人告诉它“猫耳朵长什么样”,它自己在几百万次下山里,把“耳朵”这个特征抠了出来。

这个过程里有一处特别反直觉:它学到的不是“猫”,而是一堆数字之间极其复杂的相关性。你问它猫是什么,它答不上来。但它能认出猫。

数据脏,模型就脏

数据脏,模型就脏
数据脏,模型就脏

常听到一句话,叫“垃圾进,垃圾出”。说得对,但太轻描淡写了。

真实情况更难受:数据里的偏见,模型会学得很认真,甚至学得比人更彻底。因为它不判断,它只拟合。

2018年,路透社报道过亚马逊一个招聘筛选工具的失败。团队本想让它跳过人工简历初筛,结果它学会了给女性相关简历降权。为什么?因为过去十年公司招进来的工程师绝大多数是男性,模型老老实实把这个“规律”抄了下来。项目后来被解散了。

这不是模型坏。是数据里本来就写着那段历史。模型只是把它放大、固化,然后每天早上七点准时复读。

所以做这行的人有句自嘲——洗数据的时间,往往比调模型多得多。不酷。但真实。

三个老被搅在一起的事

过拟合。这东西像抄答案的学生。练习题全对,一换卷子就完蛋。模型把训练数据里的噪声也背下来了,包括那些纯属偶然的巧合。怎么办?给它点干扰,别让它背得太舒服。

幻觉。大语言模型编瞎话的时候,不是在骗你。它压根没有“我不知道”这个状态。它做的事情本质上是:根据前面的词,猜下一个更像的词。你问一个它没学过的东西,它照样给你生成一段读起来特别顺的话。顺,不等于对。

参数多就强。这个想法很诱人。可参数多,只说明它“能装”。装什么,还得看喂进去的是什么,以及训练得够不够。一辆卡车能拉货,也能拉一车沙子。

手写数字MNIST数据集灰度样本网格拼图
手写数字MNIST数据集灰度样本网格拼图

几个经常被问到的问题

问:得多少数据才够?

答:看情况。——我知道这个回答很讨厌。但确实是这样。识别手写数字,几万张就能跑得不错;做医学影像,几千张带标注的都可能不够,而且标注还得是主任医师级别的。数据的“质”,有时候比“量”要命得多。

问:它会取代谁?

答:取代的是任务,不是人。翻译、质检、初审、客服第一轮,这些环节里高度重复的部分,它做得又快又稳。可一件事一旦需要担责任、需要跟人扯皮、需要在信息不全的时候拍板,它就露怯了。它不会为你背锅。它连锅是什么都不知道。

问:我该从哪学起?

答:先别急着上框架。把线性回归手推一遍,把损失函数和梯度的关系在纸上画出来。这一步很枯燥,但它能让你后面少踩很多坑。很多人上来就调库,调了半年,说不清自己调的是什么。

泼一盆冷水

这两年关于机器学习的说法越来越玄。什么都要往上面套。冰箱、牙刷、马桶盖,好像不加个模型就落伍了。

但冷静看,它现在的强项集中在几件事上:从大量相似样本里找规律、在封闭规则下快速执行、做高维度的模式匹配。超出这个范围,它的表现就忽上忽下,而且你很难提前知道它什么时候翻车。

还有一件很少被提的事:成本。训练一次大模型烧掉的电,够一个普通家庭用很久。数据标注是一门实打实的苦力活,不少标注员每天要框几千个框。这些不性感的东西,撑着上面那些漂亮效果。

所以别把它想成魔法。它更像一台特别能压缩、特别能插值的机器。你给它看过的,它融会贯通;你没给它看过的,它可能会一本正经地胡说八道。

让它算。别让它背书。

回到开头那只猫。它到今天也说不清猫是什么。可刚才你手机相册自动把猫的照片归到一堆的时候——它做到了。

作者|科技

排版|科技

审核|安然

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:机器学习:它认得出猫,却说不清猫是什么
文章链接:https://www.lfdjt.com/p/keji/a/24226.html