PubMedQA 的任务形式是从真实生物医学研究问题出发，让模型阅读对应的论文摘要，给出 yes、no 或 maybe 的结论，考查基于证据的阅读理解与推理。数据集包含一千条专家标注样本、六万多条未标注样本和二十多万条自动生成的问答实例，可从其 GitHub 仓库下载；研究者按说明提交模型结果后，成绩会进入公开排行榜，榜上收录了 GPT-4、Med-PaLM 2 等众多模型的准确率。它适合从事生物医学自然语言处理和医疗大模型研究的人员使用。典型场景包括评测自研模型在医学问答上的真实水平、横向比较不同模型处理专业文献的能力、为论文实验提供统一的基准数据，以及跟踪医疗 AI 领域的技术进展。它是学术评测资源而非面向终端用户的产品，普通读者也可以通过排行榜了解主流模型在医学问题上的能力差距。

类似网站

AGI-Eval

AGI-Eval是一个AI大模型评测社区，围绕大语言模型的能力评测展开，汇集模型评测与对比参考，帮助用户横向了解不同模型的综合表现，适合关注大模型能力排名与选型的研究者、开发者和行业观察者。

Open LLM Leaderboard

Open LLM Leaderboard 是 Hugging Face 社区维护的开源大模型排行榜，基于多项公开基准对开源模型统一评测排名，可按规模、类型筛选对比，也支持提交模型参评。适合大模型开发者、研究者与做开源模型选型的团队。

MMLU

MMLU 是衡量大语言模型综合知识的经典英文基准，包含约一万六千道多项选择题，覆盖 57 个学科，从基础数学、历史到专业法律、医学都有涉及。它在零样本和少样本设置下测试模型在预训练阶段学到的知识，成绩被各大模型发布时广泛引用，是观察模型通用能力的重要参照。

SuperCLUE

SuperCLUE 是中文通用大模型综合性测评基准，由 CLUE 团队推出，从语言理解与生成、知识应用、专业能力、安全性等维度评测中文大模型。它包含多轮开放式、客观题和匿名对战三大基准并按月更新榜单，适合模型研发团队和关注中文大模型进展的研究者参考。

FlagEval

FlagEval（天秤）是智源研究院推出的大模型评测平台，为语言、多模态等各类模型提供统一的评测体系与公开排行榜，用户可以查看不同模型在多项能力上的成绩对比，也能提交模型参与评测，适合关注大模型能力进展的研究人员、企业选型团队和开发者。

LLMEval3

LLMEval3是复旦大学自然语言处理实验室推出的大语言模型评测基准，对大模型开展系统化能力评估并汇总展示参评模型的评测结果，帮助研究者横向对比不同模型的表现差异。适合从事大模型研发、选型与学术研究的人员查阅，作为判断模型能力的参考之一。

C-Eval

C-Eval 是面向大语言模型的多层次、多学科中文评估套件，以中文考试题为核心组织测试，覆盖 STEM、社会科学、人文科学等门类，并设有高难度子集。它提供公开排行榜，分别列出公开访问与受限访问模型在零样本、少样本设置下的成绩，适合研究者横向比较中文大模型能力。

OpenCompass

OpenCompass（司南）是上海人工智能实验室推出的大模型开源评测体系，提供覆盖学科知识、语言、推理等多维度能力的评测基准与公开排行榜。它支持主流开源与商用模型的统一评测，适合模型研发团队做能力对比与选型参考，也方便研究者跟踪大模型进展。

CMMLU

CMMLU 是综合性的中文大模型评估基准，专门衡量语言模型在中文语境下的知识与推理能力。它涵盖从基础学科到高级专业水平的 67 个主题，包括自然科学、人文社科和中国驾驶规则等本土化内容，并提供公开排行榜，适合模型研发与评测研究人员使用。