Alyah 基准发布：评估阿拉伯大语言模型阿联酋方言能力

Hugging Face 团队推出 Alyah 基准，专门评估阿拉伯大语言模型对阿联酋方言的语言、文化及语用理解能力。该数据集包含 1,173 个由母语者手工收集的样本，涵盖问候、诗歌及历史知识等类别。研究测试了 54 个模型，结果显示 google/gemma-3-27b-pt 在基础模型中表现最佳，准确率达 74.68%。