本地大模型

Local LLM

让大模型在自己的设备上运行

最近记录

全部文章

Qwen3-8B 压缩 KV 缓存:关键 token 还在,长会话为何仍会失败?

PACE v1 的 Qwen3-8B 实验显示,关键 token 驻留率达到 99.6% 时,任务表现仍会随定义与使用间隔增长而下降。问题涉及旋转位置距离:规划引导保留负责留下依赖,位置重编号帮助后续查询使用它们。本文解释两者为何需要配合,以及本地评测如何同时观察 KV 占用、事实召回和代码执行结果。

继续阅读