Hugging Face Blog·· 2024-04-30AI 评分45
Hugging Face 与 Dottxt 合作利用结构化生成提升提示一致性
Improving Prompt Consistency with Structured Generations
AI 导读
Hugging Face 联合 Dottxt 提出通过结构化生成解决 LLM 评估对提示格式敏感的问题。实验显示,同一模型在 MMLU 任务中因提示格式微调导致准确率波动高达 10 分,如 Qwen1.5-7B 从 51.2% 降至 22.9%,且 few-shot 样本顺序也会引入约 3 分的差异。
来源:Hugging Face Blog · huggingface.co