Research · Models
Meta新研究：字节模型蒸馏突破Token天花板，预测准确率上限高出4个百分点
Meta FAIR和华盛顿大学的研究提出字节模型蒸馏方法，突破Token天花板。以Llama 3-8B为教师模型，End-Of-Token蒸馏方案的下游平均准确率上限比传统Token蒸馏高出4个百分点。
阅读 量子位 原文为什么重要
该研究为训练更小、更强的字节级语言模型提供了新思路，可能降低模型部署成本并提升效率。
关键事实
事实 1
论文题为《突破Token天花板：蒸馏出更小、更强的字节模型》，由Meta FAIR和华盛顿大学的研究者提出。
来源与依据
来自Meta FAIR和华盛顿大学的论文《突破Token天花板：蒸馏出更小、更强的字节模型》
事实 2
实验使用的教师模型是Llama 3-8B，其词表包含128256个Token。
来源与依据
以Llama 3-8B为例，它的词表包含128256个Token
事实 3
根据缩放定律预测，End-Of-Token蒸馏方案的下游平均准确率上限比Token蒸馏高出4个百分点。
来源与依据
End-Of-Token最终比传统Token蒸馏高出4个百分点