跳到正文
原文
Hugging Face Blog·· 2024-01-12AI 评分40

Vectara 基于 Hugging Face 模板发布 HHEM 幻觉排行榜

A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard

AI 导读

Vectara 利用 Hugging Face leaderboard template 发布了 Hughes Hallucination Evaluation Model (HHEM) 排行榜,用于评估 LLM 生成摘要时的幻觉频率。该方案通过自定义代码实现动态更新,支持提交新模型请求并自动计算 Factual Consistency Rate 等指标。

来源:Hugging Face Blog · huggingface.co