输出过度集中或分散取决于模型和数据,足量SFT可使其接近目标人群分布。
推荐理由:论文推翻“大模型必然模式坍缩”的单向判断,指出偏差也可能表现为过度分散,并给出随监督数据增加而趋近真实分布的路径。
阅读原文