AI模型评测

MMLU

MMLU 是衡量大语言模型综合知识的经典英文基准,包含约一万六千道多项选择题,覆盖 57 个学科,从基础数学、历史到专业法律、医学都有涉及。它在零样本和少样本设置下测试模型在预训练阶段学到的知识,成绩被各大模型发布时广泛引用,是观察模型通用能力的重要参照。

标签:
MMLU 的题目来自真实考试与教材,覆盖基础数学、物理、计算机、历史、哲学、法律、医学、会计等 57 个学科,难度从小学水平一路延伸到专业资格考试。每道题都是四选一形式,模型需要在零样本或只看少量示例的条件下作答,考查的是预训练阶段真正吸收的知识广度,而不是针对某个任务微调后的表现。在 Papers with Code 的这个页面上,可以查看各模型在该基准上的成绩排行以及对应的论文与代码。 它适合大模型研发团队和研究者,用来在统一标准下比较不同模型的通用知识能力,也适合选型时快速判断模型的知识面水平。对于普通读者来说,各家模型发布时公布的 MMLU 分数是理解其能力定位的常用参照。不过它是一套英文基准,题目也以选择题为主,成绩更适合与其它评测结合起来看,不宜单独作为结论。
©️版权声明:若无特殊声明,本站所有文章版权均归AI工具集原创和所有,未经许可,任何个人、媒体、网站、团体不得转载、抄袭或以其他方式复制发表本站内容,或在非我站所属的服务器上建立镜像。否则,我站将依法保留追究相关法律责任的权利。

类似网站