Hugging Face 发布 HELMET：全面评估长上下文语言模型的新基准

Hugging Face 联合普林斯顿大学推出 HELMET 基准，旨在解决现有长上下文语言模型（LCLM）评估中合成任务与真实性能脱节的问题。该研究评测了 59 款最新 LCLM，发现前沿模型在复杂任务上仍受限，且简单合成任务无法反映下游表现。HELMET 通过多样性、可控性和可靠性三大维度改进评估体系，并支持通过 HuggingFace Transformers 或 TGI 快速部署使用。