AI@NEWS

RVL-CDIP基准存在严重数据污染

审计发现约10.5%标签错误、35.2%测试集近重复,页面编码还能支撑69%准确率。

推荐理由:高达98.8%的榜单成绩被标签错误、训练测试重复和页面编码捷径共同夸大;移除编码后模型下降11点,说明该基准已难衡量真实文档理解。

阅读原文