以序列前缀的重要性比替代单纯逐令牌校正,缓解离策略训练不稳定。
推荐理由:逐令牌重要性比忽略了生成前缀的联合策略偏移,容易累积高方差;前缀级校正若能稳定训练,可提高旧策略采样复用率并降低推理强化成本。
阅读原文