这件事得从2015年Hinton那篇论文说起。当时我还在实验室里折腾模型压缩——剪枝、量化、低秩分解，搞了一堆，效果总差那么点意思。直到有一天翻到Distilling the Knowledge in a Neural Network，读完之后一拍大腿：卧槽，还能这么玩！
其实原理简单到令人发指：让一个小模型（学生）去模仿大模型（教师）的输出。但重点不是模仿那个one-hot的最终答案，而是模仿教师输出的软标签——也就是Softmax之前的logits，在高温下展现出的类别间暗知识。说实话，这才是精华。
软标签不是概率，是暗知识的地图
温度参数T。多数人把它当成一个调高的数字，但它的本质是软化判决边界。普通Softmax（T=1）把概率挤压到接近0或1，大部分信息丢失。T拉高后，比如10，原来教师对一张猫图输出的logits是[8.2, 0.5, -1.2]，经过软化，概率变成[0.52, 0.23, 0.12]。看出什么？狗类别也有0.23的预测值，说明教师认为猫和狗视觉特征有相似性。这种类别间拓扑关系，就是暗知识。你让学生光认答案，一辈子学不到这种微妙关联。
数据说话。我们做过一个对比：用BERT-base (110M) 蒸馏到6层TinyBERT，GLUE MNLI任务。原始教师Acc=84.6。随机初始化同架构的6层模型，从头训只能到75.8。加上知识蒸馏，学生模型冲到了83.1。参数量暴减6倍，推理延迟从15ms压到3ms。在线上推荐系统里，这意味着每天能省下几万块GPU算力，而模型的CTR只掉了0.05%。这类性价比，剪枝和量化根本做不到。
不过话说回来，书上的公式三行就写完，落地的时候一脚一个坑。我来抖几个。
蒸馏的坑，踩一个废一周
坑一：学生太小，怎么教都是白痴。 你别指望拿个ResNet-50老师去教一个MobilenetV2学生，把温度一调就能跑。容量不匹配是个大问题。学生表征空间太窄，压根拟合不了老师输出的高维相关性。我们试过直接蒸馏，结果学生准确率比从头训练还低3个点。解决方案：渐进式蒸馏+特征对齐。第一步，让学生先在真实标签上预训练几个epoch，把基础表征立起来。第二步，加入蒸馏损失的同时，额外引入教师中间层特征的MSE损失，中间加一个1×1卷积投影到相同维度。这样强行把老师的感受野塞给学生，虽然粗暴，但有效。最后学生追回了8个点，反超随机初始化。
坑二：温度τ，玄学调参。 大部分人抄代码时直接设τ=4，理由是Hinton论文推荐。但那个推荐是针对特定任务。我们在CIFAR-100上做网格搜索，发现τ从2到20，精度曲线像过山车。τ=3时比τ=4低了2.1%，τ=5反而比4高出0.5%。总结规律：类别多且类间相似度高时（比如细粒度车型识别），需要更高的温度（10~20）才能把细微差异暴露出来；普通分类任务τ=4~6足够。 没有银弹，每个新任务都要网格搜索一遍。我写过一个自适应温度算法，根据教师输出熵动态计算τ，省了部分功夫，但偶尔还是会抽风。真TM烦。
坑三：教师模型搞不好，全白搭。 总有人拿个85%准确率的教师就去蒸馏，期待学生超90%。做梦。知识蒸馏的上限就是教师。教师自己都没学明白，输出的软标签噪声大到爆炸。另外，推理时一定要关掉教师的Dropout和BN更新，否则生成的软标签每次都不一样，学生根本收敛不了。还有一个工程痛点：大规模数据集上生成软标签巨耗时。我们用Spark配合Ray把教师推理做成流式pipeline，实时落盘成Parquet，学生训练时直接IO读取，避免OOM。这步没搞好，GPU天天在那干等数据，血亏。
工程化：把蒸馏做成一键启动的流水线
搭过几次后，我们搞了个内规：教师定期更新，学生随叫随到。 每周用最新累积数据finetune一遍教师，然后触发蒸馏job，自动产出轻量学生模型，推送线上。训练框架基于PyTorch+Horovod，分布式生成软标签，存HDFS。学生训练时，蒸馏损失用KLDivLoss，温度t同时作用于教师和学生logits，但注意反向传播时学生loss要乘以t^2，否则梯度尺度不对。这个坑也绊倒过好多人。
还有一点，蒸馏后的学生模型校准性往往变差。本来教师模型输出的置信度是准的，学生学完却容易过自信。我们会在验证集上重新跑一次温度缩放（temperature scaling）校准，修复概率偏差。别看简单，上线后AUC能稳提0.2%。这些细节，论文里从来不写。
最后晒个AB测试：某短视频应用推荐模型，教师是DeepFM变体，参数量300MB，RT 22ms。用知识蒸馏炼出12MB的学生，RT降到8ms。线上跑一周，CTR无显著下降，同时服务器成本砍掉60%。老板开心，我头发少了一半。
就这样。蒸馏没有什么魔力，每一步都是细节。别信论文那满纸的超高分，自己踩过坑，才敢说会了。
