Models · Research
提出 Prefix Sliding 技术，可在推理中丢弃非前缀或近期窗口的中间 token，实现高效长时程测试时扩展
Prefix Sliding 技术通过丢弃推理中非前缀或近期窗口的中间 token，无需训练即可使现有模型速度提升 3 倍，并支持通过强化学习扩展到超过十万 token 的推理轨迹。
阅读 Hugging Face Daily Papers 原文为什么重要
该技术为长时程测试时扩展提供了高效方案，可能显著降低推理成本并提升模型性能。
关键事实
事实 1
Prefix Sliding 保留前缀和最近几千个 token 的窗口，丢弃其他中间推理 token。
来源与依据
propose Prefix Sliding, which discards tokens during reasoning that are not part of the prefix or the window of the last few thousand tokens.
事实 2
无需训练，Prefix Sliding 可使现有模型速度提升 3 倍，同时保持性能。
来源与依据
Without training, Prefix Sliding can make existing models 3x faster while maintaining performance.
事实 3
使用强化学习训练 Prefix Sliding 可扩展推理轨迹超过十万个 token，获得更好性能。
来源与依据
Training with Prefix Sliding using reinforcement learning can achieve better performance by enabling scaling to reasoning traces beyond a hundred thousand tokens.