AI@NEWS

TreeSpark:负载自适应草稿树

TreeSpark校准候选的父节点条件关系,并按运行负载调整半自回归推测解码树。

推荐理由:既有草稿树按位置边际概率排序,忽略候选依赖的父路径,扩宽后反而加入错排节点;条件校准与负载自适应让额外验证算力更可能转化为吞吐收益。

阅读原文