最近想到一个有意思的比喻：读别人的书，本质上就是在给大脑做“知识蒸馏”。
比如你读爱因斯坦，这就相当于你在蒸馏他。
在AI领域，蒸馏就是小模型向聪明的“大模型”学习。人脑之间的蒸馏和AI模型是一样的规律：你蒸馏了大模型（伟人），确实能迅速提高你在某些特定领域的水平。
但这有一个瓶颈——你的整体水平，最终受限于你本身“模型”的能力和规模。
我们作为普通的小模型，可以学到大模型输出的结果和推导过程，但没法复刻他产生这些结果的底层思维机制。所以，我读了再多爱因斯坦，也不可能成为爱因斯坦。
既然自身模型能力决定了上限，那普通人蒸馏大模型还有什么用？顺着这个比喻，我觉得“小模型”有三种自己的玩法：
- 混合蒸馏
AI往往是一对一蒸馏，但人可以多路并行。可以同时蒸馏爱因斯坦的理性和苏轼的豁达。多蒸馏几个不同领域的大模型，拼凑起来，小模型就成了一个独一无二的综合体。 - 动态扩容
AI小模型的参数量是写死的，但人脑有神经可塑性。经常去蒸馏高质量的内容，大脑的认知结构会改变。也就是说，通过持续学习，自身的“基础参数量”是会慢慢变大的。 - 目标是微调（Fine-tuning）
我们蒸馏别人，目的从来不是把自己复制成另一个爱因斯坦。而是把前人最优质的数据拿来“微调”自己，优化自己面对生活的算法。
想通了这点就不焦虑了。接受自己是个普通模型，不去死磕天花板；然后不断去蒸馏更好的前人，把自己的模型调优到极限就好。
