AI@NEWS

ORCA评测大模型的数据科学代码迁移

ORCA以1600项核心任务评估不同数据科学库之间代码转换的功能等价性。

推荐理由:ORCA把评测从常见的代码生成扩展到跨数据科学库迁移,并以功能等价和生态互操作为核心;1600项基础任务可暴露模型在API语义映射上的真实短板。

阅读原文