大讲堂
给智能音箱做的分词校准
外婆那时候72岁，刚换了新的智能屏音箱，本来是舅舅给她装的，说能帮她点外卖、打视频、查天气预报。结果头半个月用得一肚子火。 江苏口音重，咬字跟普通话差得远。说“我要吃盐水鸭”，音箱识别成“我要吃咸水大”，给她下单了五斤大闸蟹，冰碴子化了流了一鞋柜。说“帮我打给小囡”，识别成“帮我打给小南”，拨出去给了她从来没见过的小区物业小南，两个人对着电话愣了半分钟。 她才不跟年轻人一样吐槽两句就扔一边。跑去找社区里那个给大家装宽带的小吴，小吴蹲在她家玄关擦汗，给她解释了半天——不是语音识别不准，是转成文字之后，分词切错了。 带口音的拼音转成汉字本来就容易混，要是切词的时候把“盐水鸭”拆成“盐水”和“鸭”，把“小囡”拆成“小”和“囡”，机器自然不知道要往哪个方向匹配答案。小吴说，现在的模型对老年用户的方言适配本来就薄，你要是用得不顺，得自己攒语料，教它认你常说的词。 外婆退休前是小学老师，本来就爱攒东西，一听就来劲了。 每次音箱识别错了，她就拿个小本子写下来：哪天，我说了啥，它切成了啥，正确的应该是啥。比如“2029年11月3号，我说‘帮我把窗台上的腊梅搬进来晒太阳’，它切成‘帮我把窗台上的腊 梅搬进来 晒太 阳’，以为‘腊’是吃的腊肉，给我搜了腊味礼盒链接。” 我翻到这页的时候笑出声。 太像她干的事了。
没有技术术语的语料库
外婆攒了三个月的记录，攒了快两百条。 她也不懂什么叫词性标注，什么叫语言模型，更不知道什么是最长匹配分词法——就是最早的分词系统会拿着一本大字典，把句子里的字挨个对字典，找最长的那个连续词块切出来，全靠人一个词一个词攒字典堆出来的。她就知道，要把自己每天说的话，拆成机器能认的“词块”。 老门东、皮肚面、腊梅、楼下张阿婆、小区门口的糖粥摊……这些在通用语料库里本来就出现得少，机器根本不知道是要连在一起认的。 小吴后来帮她把这些记录导进音箱的个人语料库的时候，跟她说，你现在干的事，跟当年编汉语大字典的老先生没区别，都是在给语言划边界。外婆听完还挺得意，说那我也算给机器当老师了。 哦对了，外婆那时候还跟小吴闹过一次脾气。 小吴第一次帮她导语料的时候，把“小囡”这个词的解释写成了“南方地区对小女孩的统称”，外婆当时就急了，攥着笔说什么统称，小囡就是我家那个小丫头，就是我外孙女，你得在词后面标清楚，是我家的那个，不是别的小囡。 小吴哭笑不得，说模型本来就不认这些私人的专属词，但是外婆坚持要写，说不然哪天我要找小囡，你给我找个陌生的小囡回来怎么办。 我翻到这页的时候，突然就有点鼻子酸。之前我们总觉得，技术是往前跑的，是穿格子衫的工程师在写字楼的机房里敲代码，是每年迭代的新模型，跟老年人没关系。哪想到，一个七十多岁的老太太，为了能跟智能音箱顺顺当当地说上话，自己当起了分词的标注员。 她的笔记里还夹着半张超市的购物小票，背面写着：“皮肚面，不是皮 肚 面，是面里放皮肚，不要切成皮和肚子。”还有一次，她跟音箱说“我要去玄武湖走两圈”，音箱识别成“我要去玄武湖走两 圈”，给她推荐了“两圈牌老年健步鞋”，她在旁边批了三个大字：“胡扯！”现在的分词早就不用人标了
后来我帮她把这些笔记整理成电子档的时候，已经是2032年。 现在的分词模型，早就不需要普通人攒语料了。大模型能自己从海量的对话、书籍、短视频字幕里学怎么切词，准确率比三年前高了好几个百分点，连苏州话、温州话这种方言的识别准确率，都能到九成以上。上次我回家，用外婆家的智能音箱，说南京话“我要吃皮肚面”，它立刻就给我搜了家附近评分最高的那家店，连“多放皮肚少放辣”这种本地人才知道的要求，都能精准识别。 但是我翻到外婆那叠旧笔记的时候，还是觉得有点怪怪的。 你想啊，现在的分词模型，能处理上亿字的文本，能把长句子切得丝毫不差，能从乱七八糟的网络发言里揪出来要找的信息，但是它根本不知道，当年有个老太太，为了能让机器听懂她常说的那几十个词，花了整整一个冬天，在台灯底下，一笔一划把所有错的地方都记下来。 说实话，之前我在公司做内容检索，天天跟分词打交道。我们最怕的就是分词切错，把固定的专有名词拆成零散的字，出来的检索结果能错得离谱。之前总觉得分词是个冷冰冰的技术环节，是后台跑的一串代码，是工程师调了又调的参数，没人会注意。直到翻到外婆的笔记，才反应过来，所有那些看起来理所当然的“切对了”的时刻，背后其实是无数人，把自己日常说的话，一点点喂给机器，让它知道，哪些字是要连在一起的，哪些词是有温度的。 我把外婆那叠笔记整理完，给那个智能音箱加了个自定义词表，里面就放她当年记的那些词：盐水鸭、皮肚面、腊梅、小囡、张阿婆。上次我舅舅给外婆打视频，说现在音箱可灵了，她上次说“帮我打给张阿婆”，一下就拨通了，没出错。外婆还在电话里跟我说，还是当初记的那些东西有用，现在机器乖多了。 我把那叠笔记放回樟木箱的时候，窗外刚好飘了点细小雨，落在老小区的梧桐叶上。 其实我们现在说的每一句话，不管是对着手机，还是对着音箱，还是对着电脑屏幕，都是在给分词的机器，递过去一个小小的、属于自己的词块。你说的“回家吃饭”，他说的“想你了”，这些被切得整整齐齐的词，凑在一起，就是机器能听懂的，属于普通人的世界。 哦对了，刚才找的梅花帕子，就压在那叠笔记的最上面，绣的梅花还带着点旧丝线的软乎乎的光。作者|大讲堂
排版|大讲堂
审核|白杨