AI@NEWS

语言模型上下文绑定容量定律

对30个开放模型的实验显示,实体—值绑定容量随参数量按约0.82次幂增长。

推荐理由:半衰回忆负载满足K50=cN^0.820且拟合R²为0.73,量化了小模型追踪实体赋值的容量边界;不同预训练方案还对应最高八倍差距。

阅读原文