Hugging Face Blog·· 2025-10-07精选AI 评分68
BigCodeArena发布:支持实时执行的代码生成模型评估平台
BigCodeArena: Judging code generations end to end with code executions
AI 导读
BigCode项目推出BigCodeArena,这是首个允许用户通过实际运行代码来评估和比较AI代码生成模型的众包平台。该平台支持Python、JavaScript等10种语言及React、PyGame等8种执行环境,用户可提交任务并投票选择表现更好的模型。
推荐理由
BigCodeArena通过引入实时执行反馈解决了代码生成评估中静态对比的局限,其数据揭示了不同模型在特定运行环境下的鲁棒性差异。
来源:Hugging Face Blog · huggingface.co