MMLU 全称 Massive Multitask Language Understanding，是一种针对大模型的语言理解能力的测评，是目前最著名的大模型语义理解测评之一，由UC Berkeley大学的研究人员在2020年9月推出。该测试涵盖57项任务，包括初等数学、美国历史、计算机科学、法律等。任务涵盖的知识很广泛，语言是英文，用以评测大模型基本的知识覆盖范围和理解能力。
©️版权声明：若无特殊声明，本站所有文章版权均归AI工具集原创和所有，未经许可，任何个人、媒体、网站、团体不得转载、抄袭或以其他方式复制发表本站内容，或在非我站所属的服务器上建立镜像。否则，我站将依法保留追究相关法律责任的权利。
类似于MMLU的工具
CMMLU
一个综合性的大模型中文评估基准
C-Eval
一个全面的中文基础模型评估套件
FlagEval
智源研究院推出的FlagEval（天秤）大模型评测平台
LMArena
AI模型评估平台
MagicArena
字节推出的视觉生成模型对战平台
Open LLM Leaderboard
Hugging Face推出的开源大模型排行榜单
暂无评论