FlagEval

AGI-Eval是一个AI大模型评测社区，围绕大语言模型的能力评测展开，汇集模型评测与对比参考，帮助用户横向了解不同模型的综合表现，适合关注大模型能力排名与选型的研究者、开发者和行业观察者。

Open LLM Leaderboard 是 Hugging Face 社区维护的开源大模型排行榜，基于多项公开基准对开源模型统一评测排名，可按规模、类型筛选对比，也支持提交模型参评。适合大模型开发者、研究者与做开源模型选型的团队。

MMLU 是衡量大语言模型综合知识的经典英文基准，包含约一万六千道多项选择题，覆盖 57 个学科，从基础数学、历史到专业法律、医学都有涉及。它在零样本和少样本设置下测试模型在预训练阶段学到的知识，成绩被各大模型发布时广泛引用，是观察模型通用能力的重要参照。

SuperCLUE 是中文通用大模型综合性测评基准，由 CLUE 团队推出，从语言理解与生成、知识应用、专业能力、安全性等维度评测中文大模型。它包含多轮开放式、客观题和匿名对战三大基准并按月更新榜单，适合模型研发团队和关注中文大模型进展的研究者参考。

PubMedQA 是面向生物医学研究问答的数据集与评测基准，要求模型依据论文摘要对研究问题给出是、否或不确定的判断，包含专家标注与大规模自动生成的问答样本，并设有公开模型排行榜，适合医疗 AI 研究者评测与比较模型能力。

LLMEval3是复旦大学自然语言处理实验室推出的大语言模型评测基准，对大模型开展系统化能力评估并汇总展示参评模型的评测结果，帮助研究者横向对比不同模型的表现差异。适合从事大模型研发、选型与学术研究的人员查阅，作为判断模型能力的参考之一。

C-Eval 是面向大语言模型的多层次、多学科中文评估套件，以中文考试题为核心组织测试，覆盖 STEM、社会科学、人文科学等门类，并设有高难度子集。它提供公开排行榜，分别列出公开访问与受限访问模型在零样本、少样本设置下的成绩，适合研究者横向比较中文大模型能力。

OpenCompass（司南）是上海人工智能实验室推出的大模型开源评测体系，提供覆盖学科知识、语言、推理等多维度能力的评测基准与公开排行榜。它支持主流开源与商用模型的统一评测，适合模型研发团队做能力对比与选型参考，也方便研究者跟踪大模型进展。

CMMLU 是综合性的中文大模型评估基准，专门衡量语言模型在中文语境下的知识与推理能力。它涵盖从基础学科到高级专业水平的 67 个主题，包括自然科学、人文社科和中国驾驶规则等本土化内容，并提供公开排行榜，适合模型研发与评测研究人员使用。