AI@NEWS

SAS以端到端上下文排序稀疏注意力

论文提出通过端到端优化上下文排序,实现更简单的注意力稀疏化。

推荐理由:已知创新点是将上下文排序纳入端到端训练,用排序结果决定注意力稀疏化;若能保持精度,可减少长上下文计算,但帖文未给压缩率和性能数据。

阅读原文