HyScale将稀疏注意力选择结果视为索引，针对全量打分、物化及重计算瓶颈优化训练。
推荐理由：百万上下文的真正瓶颈已从稀疏读取转向全历史候选选择；将选择结果按索引管理并避免重复计算，可能显著改变长上下文训练的系统设计。
阅读原文