腾讯开源推测解码框架
腾讯开源 AngelSpec,用于训练多架构推测解码草稿模型。
推荐理由:AngelSpec把MTP、块并行草稿和自适应验证预算做成torch-native训练框架,在HY3-295B上给出1.98至2.40倍加速,直接指向大模型推理成本瓶颈。
腾讯开源 AngelSpec,用于训练多架构推测解码草稿模型。
推荐理由:AngelSpec把MTP、块并行草稿和自适应验证预算做成torch-native训练框架,在HY3-295B上给出1.98至2.40倍加速,直接指向大模型推理成本瓶颈。