AI@NEWS

腾讯开源推测解码框架

腾讯开源 AngelSpec,用于训练多架构推测解码草稿模型。

推荐理由:AngelSpec把MTP、块并行草稿和自适应验证预算做成torch-native训练框架,在HY3-295B上给出1.98至2.40倍加速,直接指向大模型推理成本瓶颈。

阅读原文