
Humanity's Last Exam
Humanity's Last Exam 是面向大型语言模型学术能力评估的多模态基准测试平台,由全球多领域专家联合开发
Humanity's Last Exam 是面向大型语言模型学术能力评估的多模态基准测试平台,由全球多领域专家联合开发。核心功能包括覆盖100余个学科的标准化试题库、支持多模态模型的统一测试流程、自动化生成详细学术能力评估报告。目标用户覆盖AI模型研发团队、高校人工智能研究人员、AI行业评测机构、科技企业算法开发部门等,可用于大模型学术能力摸底测试、不同模型学术能力横向对比、模型迭代效果验证、AI学术评测相关研究等场景,为人工智能技术在学术领域的性能优化提供参考依据。
- 适用对象
- AI大模型研发团队(大模型学术能力评测)
- 主要功能
- 多学科试题库、多模态测试支持
- 计费方式
- 免费增值,部分功能付费
- 平台
- 网页
- 已收录
- 2026.06.14(142 天)
阅读目录
编辑评测与站内热度
编辑综合评分
满分 5 分
六维指标基于站内真实数据(热度、社区反馈、资料完整度、可达性核验等)综合评估,非用户投票。
全站热度排名
#1970
分类内排名
#32 / 188
累计站内点击
—
近 7 日点击
—
排名与点击为站内真实统计口径,反映 Toolifai 用户行为,非编辑评分。
Humanity's Last Exam是什么,怎么使用?
约 4 分钟Humanity's Last Exam 是面向大型语言模型学术能力评估的多模态基准测试平台,由全球多领域专家联合开发。核心功能包括覆盖100余个学科的标准化试题库、支持多模态模型的统一测试流程、自动化生成详细学术能力评估报告。目标用户覆盖AI模型研发团队、高校人工智能研究人员、AI行业评测机构、科技企业算法开发部门等,可用于大模型学术能力摸底测试、不同模型学术能力横向对比、模型迭代效果验证、AI学术评测相关研究等场景,为人工智能技术在学术领域的性能优化提供参考依据。
主要功能
- 多学科试题库:平台试题库覆盖数学、物理、化学、生物、计算机、人文社科等100余个细分学科,试题由来自全球50个国家超500个机构的近1000名各领域专家共同命制,总题量达3000道,难度覆盖本科到尖端研究级别的学术场景,能够全面考察大模型在不同学术领域的知识储备与问题解决能力。
- 多模态测试支持:平台支持接入文本、图文结合等多模态输入的大模型测试,用户上传对应模型的API接口或按照指定格式提交模型回答结果后,系统可自动匹配对应题型的判分规则,无需手动适配不同模态的试题格式,适配当前主流大语言模型及多模态大模型的评测需求。
- 自动化评估报告:完成测试后,系统会自动生成多维度的评估报告,包含不同学科的得分率、不同难度层级试题的正确率、知识盲区标注、与同类型模型的横向对比数据等内容,研发人员可直接通过报告定位模型在学术领域的性能短板,为后续模型迭代优化提供数据支撑。
- 封闭式基准设计:平台采用封闭式试题管理机制,试题不会公开在公开网络环境中,避免模型在训练过程中学习到测试试题内容,保障测试结果的客观性与公正性,能够真实反映模型的实际学术推理与知识应用能力,减少评测结果的水分。
- 自定义测试子集:用户可根据自身评测需求,选择特定学科、特定难度的试题组成自定义测试集,不需要每次都完成全部3000道试题,适合针对特定领域优化的垂直类大模型进行定向能力评估,缩短测试周期,提升评测的针对性。
- 测试结果导出:平台支持将完整测试报告、各学科得分明细、错题详情等数据导出为CSV或PDF格式,方便研究人员将测试数据用于学术论文撰写、项目研发汇报、模型性能公示等场景,无需手动整理测试结果,降低后续数据处理的工作量。
怎么使用
- 第一步,访问https://lastexam.ai进入平台首页,在导航栏选择评测入口,根据自身需求选择完整测试或自定义测试模式,查看平台的测试规则与提交要求。第二步,若选择自定义测试,在学科列表中勾选需要评测的学科,设置试题难度范围,确认后生成专属测试子集,获取试题的统一格式说明。第三步,按照平台提供的接口文档,将待测试的大模型接入平台测试系统,或下载试题包后使用模型批量生成回答,再按照指定格式整理回答文件。第四步,将模型回答文件上传至平台,确认提交后等待系统自动判分,评测过程中可在个人中心查看测试进度,预计数小时内完成全部判分。第五步,评测完成后在个人中心查看完整评估报告,可按需导出报告数据,也可选择是否将测试结果匿名纳入平台的模型性能排行榜。
适合什么人群
- AI大模型研发团队(大模型学术能力评测)
- 高校人工智能方向研究员(AI学术性能相关研究)
- AI评测机构(大模型性能横向对比)
- 科技企业算法部门(模型迭代效果验证)
- 学术期刊审稿人(AI相关论文性能佐证)
- 垂直领域AI产品开发者(领域专项能力评估)
总结
这一平台的核心价值在于填补了高难度、跨学科大模型学术基准评测的空白,区别于常规的基础能力测试,它的试题全部由各领域一线专家命制,难度触及学术研究级别的复杂问题,能够测试出大模型在知识深度、推理能力上的真实上限,而非仅考察记忆类的浅层次知识点。封闭式的试题设计也规避了现有很多基准测试存在的试题泄露问题,测试结果的参考价值更高。对于需要真实了解大模型学术能力的研发人员和研究者来说,这个测试能够提供更有说服力的性能数据,帮助用户避免被表面的高分表现误导,更精准地定位模型的优化方向。目前平台已经积累了多个主流大模型的测试数据,用户在完成测试后可以获取到更丰富的横向对比维度,无论是做模型研发还是相关学术研究,都能从中获得有用的参考信息。
价格与免费额度
平台提供免费版与付费版两种使用方案,免费版支持用户选择最多3个学科的试题进行测试,可获取基础的得分报告,不支持数据导出和横向对比功能,适合个人研究者或学生做小范围测试使用。付费版分为学术研究授权与商业使用授权两类,学术研究授权价格为每年299美元,支持全学科测试、完整报告导出、匿名参与排行榜功能,适合高校及非盈利研究机构使用;商业使用授权价格为每年999美元,支持自定义试题上传、多次测试数据对比、专属技术支持,适合企业研发团队使用。
优点与不足
优点
- 试题覆盖100余个学科,题源来自全球多机构专家,学科覆盖广度与试题专业度较高
- 采用封闭式试题设计,避免试题被纳入模型训练集,评测结果的客观性更强
- 支持自定义测试子集,可针对特定学科做定向评测,适配垂直类大模型的评测需求
- 自动生成多维度评估报告,明确标注模型知识盲区,为模型优化提供具体方向
不足
- 试题整体难度较高,针对入门级小模型的区分度较低,不适合低参数模型的能力评估
- 目前仅支持英文试题,非英文母语模型的测试结果可能受语言理解能力干扰
- 免费版仅支持最多3个学科的测试,完整全学科测试需要付费使用,成本较高
能帮你做的 8 件事
- 01多学科试题库
- 02多模态测试支持
- 03自动化评估报告
- 04封闭式基准设计
- 05AI评测场景的常用方案
- 06大模型测试场景的常用方案
- 07AI大模型研发团队(大模型学术能力评测)的日常效率工具
- 08先用免费额度验证需求再决定付费
更新历史
- Humanity's Last Exam 收录进 Toolifai 目录
- 页面资料核验与信息更新
常见问题
这个测试的试题是否会公开,会不会被模型训练时学习到?
该平台采用封闭式基准设计,所有测试试题均不会对外公开,仅在测试过程中向提交评测请求的用户提供对应测试子集的试题内容,且用户签署的使用协议中禁止将试题对外传播。这种设计可以最大程度避免试题被纳入大模型的训练数据集,保障测试结果能够真实反映模型的实际学术推理与知识应用能力,减少因模型见过试题导致的得分虚高情况,评测结果的参考性更强。
测试支持中文大模型吗?
目前平台的所有试题均为英文表述,支持任何能够处理英文输入的大模型参与测试,包括中文大模型。但需要注意的是,若模型的英文理解能力存在短板,可能会影响其在测试中的表现,测试结果更多反映的是模型在英文语境下的学术能力。平台后续也在规划多语言试题版本,未来会推出包含中文在内的多语种测试题,适配不同语言体系的大模型评测需求。
完成一次完整的全学科测试需要多长时间?
完整全学科测试包含3000道试题,测试时长主要取决于待测试模型的响应速度,若模型每秒可处理1道试题,完成全部答题大约需要50分钟左右。加上系统自动判分和生成报告的时间,通常提交测试后2小时内可以获取完整报告。如果选择自定义测试子集,试题数量更少,整体测试周期会对应缩短,最小规模的单学科测试通常在10分钟内即可完成全部流程。
测试结果可以用于学术论文发表吗?
平台的测试数据可以作为大模型学术能力的佐证用于学术论文发表,付费学术授权用户可获取带官方标识的测试报告,以及规范的引用格式,研究人员可以直接将报告中的数据写入论文,也可引用平台的官方基准介绍作为评测依据。如果是免费版用户的测试结果,平台也支持开具对应的测试证明,满足学术研究的成果公示需求。
可以上传自己的试题到平台进行自定义评测吗?
商业付费授权用户支持上传自定义试题功能,用户可以按照平台指定的格式上传自有试题集,设置对应的判分规则,使用平台的测试系统完成对特定模型的定向评测。该功能适合需要测试模型在自有垂直领域试题上表现的企业用户,不需要自行搭建评测系统,即可利用平台的自动化评估能力完成测试,提升评测效率。普通免费版和学术授权版暂时不支持该功能。
平台的排行榜数据是所有提交测试的模型都可以进入吗?
用户完成测试后可以自主选择是否将测试结果匿名纳入平台排行榜,仅全学科测试的完整结果可以进入排行榜,自定义子集的测试结果不参与排名。排行榜会展示模型的总得分、各学科得分率等信息,所有上榜数据均经过平台审核,确保测试流程符合规范,不存在作弊行为,可供所有用户参考,了解当前不同大模型的学术能力水平。
开始使用 Humanity's Last Exam
从官方入口了解最新功能与使用方式。
由 Toolifai 编辑维护
欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。