Google Research 提出 AI 基准测试中评估者数量与样本量的权衡策略

Google Research 指出传统 AI 评测中每项仅用 3-5 名评估者不足以捕捉人类分歧，可靠结果往往需要超过 10 名评估者。研究通过模拟实验发现，最优的“广度”（多项目少人）与“深度”（少项目多人）比例取决于具体指标：追求多数票准确率宜采用广度策略，而捕捉意见细微差别则需增加评估者人数。在正确平衡下，约 1,000 次总标注即可实现高可复现性，相关模拟器已开源。