给深度学习看了几千张猫图,它到底看见了什么?

晚上十一点,南京新街口还堵着。我在地铁上翻手机相册,系统自动给我整理了一个“猫”的相册。 说实话,我愣了一下。那些照片里,有橘猫瘫在窗台,有黑猫只露一只眼睛,还有糊成毛球的运动抓拍。手机怎么知道它们都是猫?不是因为我打了标签。它背后跑着的,就是深度学习。 很多人把深度学习说得像魔法。其实它更像一台特别固执的找规律机器。你给它看很多很多猫图,它不会突然“懂”猫。它只是慢慢学会一件事:哪些像素排列,经常和“猫”这个标签一起出现。
智能手机相册自动识别猫照片分类界面
智能手机相册自动识别猫照片分类界面

它不是在“看猫”,是在看数字的坡度

一张照片进到模型里,先变成数字。像素亮度,红绿蓝三个通道,排成一大片矩阵。你看到的是猫耳朵。它看到的是一格一格的数。 卷积神经网络会拿一个小窗口在图上滑。滑过去,算一下。再滑,再算。早期层容易抓到边缘、斜线、色块。中间层把这些边拼起来,可能抓到眼睛轮廓、胡须走向。更深的层,才开始出现“猫脸”这种很抽象的模式。 但这个“猫脸”不是人类脑子里的猫脸。它是一组权重,是一堆数字的响应强度。 权重可以想成旋钮。成千上万个旋钮。训练的时候,模型猜一个答案,错了,就算损失。然后反向传播把错误往回传,告诉每个旋钮:你刚才拧多了,还是拧少了。 于是它一点一点调。调得慢,像熬汤。调得急,汤会糊。学习率这个参数,就是在控制步子大小。太大,跳过头。太小,原地磨。
深度学习卷积神经网络识别猫图像特征层可视化
深度学习卷积神经网络识别猫图像特征层可视化

蒙眼下山,和一口背题的锅

蒙眼下山,和一口背题的锅
蒙眼下山,和一口背题的锅
训练深度学习模型,常被比作蒙眼下山。你站在山坡上,看不见谷底,只能摸脚下的坡度,判断往哪走。梯度下降就是这套动作。每次走一小步,希望损失函数小一点。 问题是,山不是只有一个谷。你可能掉进局部低点,觉得已经挺好,其实远处还有更平的地方。于是有了动量、自适应学习率这些技巧。听着玄,其实就是给下山的人一点惯性,别走两步就停。 另一个麻烦叫过拟合。模型把训练集背得滚瓜烂熟。你给它看过的猫,它认得出。你换一张没见过的猫,它傻眼。像学生背了题库,题目换个数字就不会。 怎么办?有时候故意给它添乱。遮挡一点,旋转一点,调调亮度。这叫数据增强。还有 dropout,训练时随机“关掉”一些神经元,逼它别把宝押在少数线索上。 不过话说回来,深度学习也有脆弱的一面。有研究展示过,给图像加一层人眼几乎看不出的扰动,模型就可能把猫认成别的东西。对抗样本这东西,像是在提醒我们:它的判断逻辑,和人不是一回事。

从感知机到Transformer,一条磕磕绊绊的时间线

时间往回拨。1943年,麦卡洛克和皮茨提出过神经元的数学模型。1958年,罗森布拉特做出感知机,当时很热闹。后来人们发现,单层感知机连异或问题都搞不定,热情冷了一阵。 1980年代,反向传播被重新重视,多层网络有了训练办法。1998年,LeNet 在手写数字识别上跑通。真正让深度学习被大众看见的,是2012年的 AlexNet。它在 ImageNet 比赛里把图像识别错误率往下拉了一大截。 再往后,2017年 Transformer 出现,注意力机制开始统治自然语言处理。2020年之后,大模型一路膨胀。2022年,ChatGPT 让普通人开始大规模和生成式模型对话。
深度学习发展时间线神经网络到Transformer示意图
深度学习发展时间线神经网络到Transformer示意图
这条线不是一路向上。中间有寒冬,有质疑,有算力不够的尴尬。很多想法早年就有,只是数据、芯片、算法凑不齐。

问答:那些总被问起的糊涂账

问:深度学习等于人工智能吗? 答:不等于。人工智能是个大筐。机器学习是里面的一种方法。深度学习又是机器学习里的一支。它靠多层网络自动找特征,省掉了很多手工设计特征的活。 问:数据越多越好? 答:不一定。数据脏、标签错、分布偏,越多越糟。模型会认真学坏。 问:它会有意识吗? 答:目前没有证据。它更像一面镜子,照出数据里的统计规律。你说它“理解”,得先定义什么叫理解。 问:为什么它有时候很聪明,有时候又很蠢? 答:因为它只在训练分布附近表现稳。出了那个范围,它没有常识兜底。

冷思考:别把它当神,也别当玩具

深度学习已经钻进很多日常:相册分类、语音输入、推荐系统、医学影像辅助、机器翻译。你未必看见它,但它常常在后台跑。 代价也有。算力吃电,大模型训练不是小开销。数据隐私、版权、偏见,都是真问题。更麻烦的是可解释性。一个模型说“这是猫”,你很难逐层问清楚它为什么这么想。 所以,下次手机弹出“猫”的相册,你可以笑一下。那不是手机突然有了灵魂。是无数数字在黑暗里,一遍遍调整自己,刚好撞上了你家那只猫。

作者|科技

排版|科技

审核|乐乐

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:给深度学习看了几千张猫图,它到底看见了什么?
文章链接:https://www.lfdjt.com/p/keji/a/24628.html