AI模型评测

AGI-Eval是一个AI大模型评测社区，围绕大语言模型的能力评测展开，汇集模型评测与对比参考，帮助用户横向了解不同模型的综合表现，适合关注大模型能力排名与选型的研究者、开发者和行业观察者。

Open LLM Leaderboard 是 Hugging Face 社区维护的开源大模型排行榜，基于多项公开基准对开源模型统一评测排名，可按规模、类型筛选对比，也支持提交模型参评。适合大模型开发者、研究者与做开源模型选型的团队。

MMLU 是衡量大语言模型综合知识的经典英文基准，包含约一万六千道多项选择题，覆盖 57 个学科，从基础数学、历史到专业法律、医学都有涉及。它在零样本和少样本设置下测试模型在预训练阶段学到的知识，成绩被各大模型发布时广泛引用，是观察模型通用能力的重要参照。

SuperCLUE 是中文通用大模型综合性测评基准，由 CLUE 团队推出，从语言理解与生成、知识应用、专业能力、安全性等维度评测中文大模型。它包含多轮开放式、客观题和匿名对战三大基准并按月更新榜单，适合模型研发团队和关注中文大模型进展的研究者参考。

PubMedQA 是面向生物医学研究问答的数据集与评测基准，要求模型依据论文摘要对研究问题给出是、否或不确定的判断，包含专家标注与大规模自动生成的问答样本，并设有公开模型排行榜，适合医疗 AI 研究者评测与比较模型能力。

FlagEval（天秤）是智源研究院推出的大模型评测平台，为语言、多模态等各类模型提供统一的评测体系与公开排行榜，用户可以查看不同模型在多项能力上的成绩对比，也能提交模型参与评测，适合关注大模型能力进展的研究人员、企业选型团队和开发者。

LLMEval3是复旦大学自然语言处理实验室推出的大语言模型评测基准，对大模型开展系统化能力评估并汇总展示参评模型的评测结果，帮助研究者横向对比不同模型的表现差异。适合从事大模型研发、选型与学术研究的人员查阅，作为判断模型能力的参考之一。

C-Eval 是面向大语言模型的多层次、多学科中文评估套件，以中文考试题为核心组织测试，覆盖 STEM、社会科学、人文科学等门类，并设有高难度子集。它提供公开排行榜，分别列出公开访问与受限访问模型在零样本、少样本设置下的成绩，适合研究者横向比较中文大模型能力。

CMMLU 是综合性的中文大模型评估基准，专门衡量语言模型在中文语境下的知识与推理能力。它涵盖从基础学科到高级专业水平的 67 个主题，包括自然科学、人文社科和中国驾驶规则等本土化内容，并提供公开排行榜，适合模型研发与评测研究人员使用。

OpenCompass（司南）是上海人工智能实验室推出的大模型开源评测体系，提供覆盖学科知识、语言、推理等多维度能力的评测基准与公开排行榜。它支持主流开源与商用模型的统一评测，适合模型研发团队做能力对比与选型参考，也方便研究者跟踪大模型进展。

Evidently AI 是一款开源的 AI 评估与可观测性框架，可在同一框架内评估、测试和监控大语言模型、RAG 应用、AI 智能体与传统机器学习模型。它内置 100 多种评估指标，可检测幻觉、事实性、数据漂移与隐私泄露等问题，并支持用规则、分类器或大模型自定义评估，适合需要保障 AI 系统质量的数据与工程团队。

HELM 是斯坦福大学推出的大语言模型综合评测体系，在问答、摘要、信息抽取等多类场景下，用准确性、鲁棒性、公平性、偏见、毒性与效率等多维指标统一衡量模型表现，并公开全部评测结果，适合模型研发团队与研究者横向比较和选型参考。

MMBench是OpenCompass推出的多模态大模型评测基准，用三千余道多项选择题从感知与推理两大类、二十个细粒度维度衡量视觉语言模型的能力，采用循环评估策略提升结果可靠性，并提供中英文双语版本与公开排行榜。适合多模态模型研发团队做能力诊断与横向对比。

Chatbot Arena 是一个以众包盲测评测大语言模型的平台：对同一个问题，两款匿名模型并排作答，用户投票选出更好的一方，海量投票经统计形成模型排行榜。它覆盖文本、代码、视觉等类别，适合想直观比较不同大模型表现、为选型提供参考的用户。