MMLU 的题目来自真实考试与教材,覆盖基础数学、物理、计算机、历史、哲学、法律、医学、会计等 57 个学科,难度从小学水平一路延伸到专业资格考试。每道题都是四选一形式,模型需要在零样本或只看少量示例的条件下作答,考查的是预训练阶段真正吸收的知识广度,而不是针对某个任务微调后的表现。在 Papers with Code 的这个页面上,可以查看各模型在该基准上的成绩排行以及对应的论文与代码。
它适合大模型研发团队和研究者,用来在统一标准下比较不同模型的通用知识能力,也适合选型时快速判断模型的知识面水平。对于普通读者来说,各家模型发布时公布的 MMLU 分数是理解其能力定位的常用参照。不过它是一套英文基准,题目也以选择题为主,成绩更适合与其它评测结合起来看,不宜单独作为结论。
©️版权声明:若无特殊声明,本站所有文章版权均归AI工具集原创和所有,未经许可,任何个人、媒体、网站、团体不得转载、抄袭或以其他方式复制发表本站内容,或在非我站所属的服务器上建立镜像。否则,我站将依法保留追究相关法律责任的权利。