分词不是算法问题，是流量生意

AI搜索撕逼，撕的其实是分词

今年初刷到业内群聊字节和百度AI搜索的瓜，我差点把冰美式喷键盘上。

两家因为分词撕得不可开交。字节说百度分词粒度太粗，用户搜「故宫门票预约」，偏切成「故宫 门票 预约」，把官方预约链接压到最下面，前面塞整整三屏旅行社的竞价广告。百度反过来骂字节过度分词，用户搜「iPhone 15原装电池价格」，硬切成「iPhone 15 电池 价格 原装 第三方」，故意把第三方小店的商品排前面抢电商佣金，吃相难看。

说实话，我最早在学校学NLP的时候，根本没把分词当回事。不就是把一整句中文拆成一个个词吗？千亿参数大模型都搞出来了，还搞不定这点小事？

现在才回过神。这哪是技术对错的问题。

普通用户搜东西，根本不会想到，你拿到的结果准不准，80%的概率不是大模型的 generative 能力有多强，是第一步分词切对了没有。你搜「男人装图片」，切成「男人 装图片」和「男人装 图片」，出来的内容差了十万八千里，一个是男装穿搭，一个是时尚杂志，完全不是一回事。

就这么一个不起眼的前置环节，现在成了巨头流量争夺的咽喉。有意思吧？

藏在切词里的商业模式博弈

中文分词天生就没有绝对的标准答案。英文靠空格天然分词，中文是连写的，你怎么切，完全看你想要什么结果。从BI亿时代到现在大模型时代，所有厂商的分词路线，本质都是跟着自己的生意走的。

百度做搜索广告起家，广告是按关键词报价的，大词流量大，溢价高，所以百度天生倾向于粗粒度分词。切出来的词越大，能卖的广告费就越多。字节做内容分发出身，靠精准标签推广告赚佣金，天生倾向于细粒度分词，切得越细，用户标签越准，匹配的广告转化率越高。

很多人只看到技术路线的差异，看不到背后的成本账。同样处理1亿次搜索请求，细粒度分词的算力成本，比粗粒度分词贵2.7倍，差不多等于杭州一家百人规模AI创业公司整个算法部门一个月的人力成本。还有更扎心的，国内TOP3大模型厂商公开的成本结构里，分词预处理环节占推理成本的17.8%，差不多每卖100块钱的API服务，18块就烧在分词上。

这个事儿说穿了，就像菜市场的猪肉贩子切肉。做批量批发的，切一整扇半扇卖，走量赚快钱，不在乎你买的是肋排还是五花肉。做精品生鲜店的，必须拆成前排肋排、五花肉、后腿肉分开卖，不同部位卖不同价，赚的就是精准细分的钱。路线没有对错，只看你做的是什么生意。

前两年有个做垂直医疗搜索的创业项目，老板上来就要抄字节的细粒度分词路线，砸了两百万训模型，上线三个月日活刚过十万，算力账单直接把毛利吃没了，最后还是把分词模块砍掉换成第三方通用服务，才勉强活下来。你一个小公司，学大厂烧钱堆分词精度，图什么呢？

国内现在做分词生意的厂商，百度、字节、哈工大讯飞、还有第三方的庖丁科技这些，路线分的清清楚楚，大厂做给自己用，第三方专门给小公司省成本，大家都心知肚明，很少摆到台面上说。

普通从业者要踩的坑

现在AI创业火成这样，十个做垂直应用的，有八个上来就要自研垂域分词，说这是核心竞争力。我每次听到都想乐。

你一个做社区宠物医疗AI咨询的，用户说「我家猫吃完猫粮吐了怎么办」，你切成「我家猫 吃完 猫粮 吐了 怎么办」还是「我家 猫 吃完猫粮 吐了 怎么办」，对最终的回答能有多大影响？犯得着花几十万买标注数据训专属分词模型吗？

上个月见一个做本地生活AI推广的兄弟，他给我算过一笔账：之前他们迷信自研分词，每个月光分词的算力加人力成本，占了总营收的三成，产品价格比竞品贵两成，根本卖不动。后来换成第三方通用分词，只花了几万块做了一点点本地商家名称的微调，成本直接砍到原来的十分之一，毛利一下子从负五个点变成正十二个点，现在每个月都能稳定盈利。

说白了，分词就是个工具，不是什么彰显技术实力的门面。大厂有流量能摊薄成本，玩得起细粒度自研，你一个小创业公司，用户都没几个，烧那个钱干嘛？这个方向我认为走偏了。

不过话说回来，现在产业链确实在变。早年做NLP，大家都是自己搭分词模块，现在大模型落地越来越快，反而越来越多的厂商把分词外包出去，专业的人做专业的事，自己省下来的成本，拿去打磨产品体验不好吗？

你猜，下一个真正卡住AI落地脖子的环节，会不会就是这个所有人都觉得不起眼的分词？