AGORA在少量人工标注下估计裁判可靠性,避免简单平均放大弱裁判影响。
推荐理由:它针对只有数百标注样本的现实场景,以项目反应理论替代高参数混淆矩阵;关键意义是让多裁判聚合按能力加权而非一票一权。
阅读原文