Multiverse Computing 提出让知识蒸馏可大规模运行的低成本方法
Multiverse Computing 发布论文« Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss »。
Motif de la recommandation :提出离线 top-K logits 缓存与融合分块 KL 损失两项系统改动, 把长上下文蒸馏显存从数百 GB 降到单卡可跑.