数据受限训练的处方式缩放定律
新缩放定律加入重复数据的过拟合惩罚,为高质量数据不足时的训练配置提供指引。
推荐理由:Chinchilla默认每个训练词元唯一,无法回答数据耗尽后应扩大模型还是重复语料;加入可拟合的重复惩罚后,缩放律可直接指导数据轮次、模型规模与算力分配。
新缩放定律加入重复数据的过拟合惩罚,为高质量数据不足时的训练配置提供指引。
推荐理由:Chinchilla默认每个训练词元唯一,无法回答数据耗尽后应扩大模型还是重复语料;加入可拟合的重复惩罚后,缩放律可直接指导数据轮次、模型规模与算力分配。