MATHVERSE
MATHVERSE是由香港中文大学发起的多模态大语言模型数学能力评估项目，核心定位为提供标准化的视觉数学问题评测基准，帮助开发者测试模型处理含图表类数学题的能力
MATHVERSE是由香港中文大学发起的多模态大语言模型数学能力评估项目，核心定位为提供标准化的视觉数学问题评测基准，帮助开发者测试模型处理含图表类数学题的能力。平台提供包含不同难度、不同题型的视觉数学测试数据集，支持模型输出结果的自动化比对与多维度评分，还可生成可视化的能力短板分析报告。目标用户覆盖大模型研发人员、AI性能评测从业者、高校人工智能方向研究人员、数学教育科技开发者等，可用于多模态大模型迭代优化、学术研究实验验证、数学类AI产品能力测试等场景。
- 适用对象
- 多模态大模型研发人员(模型能力测试场景)
- 主要功能
- 标准化测试集、结果自动比对
- 计费方式
- 免费
- 平台
- 网页
- 已收录
- 2026.06.14（139 天）
阅读目录
编辑评测与站内热度
编辑综合评分
满分 5 分
六维指标基于站内真实数据（热度、社区反馈、资料完整度、可达性核验等）综合评估，非用户投票。
全站热度排名
#1970
分类内排名
#32 / 188
累计站内点击
1
近 7 日点击
1
排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。
MATHVERSE是什么，怎么使用？
约 4 分钟MATHVERSE是由香港中文大学发起的多模态大语言模型数学能力评估项目，核心定位为提供标准化的视觉数学问题评测基准，帮助开发者测试模型处理含图表类数学题的能力。平台提供包含不同难度、不同题型的视觉数学测试数据集，支持模型输出结果的自动化比对与多维度评分，还可生成可视化的能力短板分析报告。目标用户覆盖大模型研发人员、AI性能评测从业者、高校人工智能方向研究人员、数学教育科技开发者等，可用于多模态大模型迭代优化、学术研究实验验证、数学类AI产品能力测试等场景。
主要功能
- 标准化测试集：平台收录覆盖中小学到大学阶段的多类型视觉数学题目，包含几何图形、函数图像、统计图表、实物场景数学题等不同类别，每道题附带标准解答与评分细则，测试前可根据需求筛选题型、难度范围，生成适配不同模型测试目标的专属测试子集，保证评测结果的参考性。
- 结果自动比对：用户上传待测试模型的答题结果文件后，系统会自动与标准答案进行多维度比对，不仅判断最终答案的正确性，还会对解题步骤中图表信息解析、逻辑推导、公式应用等环节进行匹配校验，快速输出各维度的正确率统计，减少人工核验的工作量。
- 多维度能力评分：平台会从图表信息识别能力、数学知识点应用能力、逻辑推导完整性、跨模态信息融合能力四个核心维度对模型表现进行量化评分，每个维度下还细分对应具体知识点的得分情况，可清晰呈现模型在不同类型视觉数学问题上的表现差异。
- 短板分析报告：完成评测后系统自动生成可视化分析报告，包含各题型得分占比、常见错误类型统计、与现有主流模型的横向对比数据，支持导出PDF格式报告，方便研发人员定位模型的能力缺陷，为后续迭代优化提供方向参考。
- 基准结果查询：平台公开多个主流多模态大模型在该测试集上的完整评测结果，用户可直接查询不同模型的整体得分、各维度表现、典型错题案例等数据，无需自行测试即可了解现有模型的视觉数学能力基线，为相关研究提供参考数据。
- 测试集自定义：支持用户上传自有的视觉数学题目扩充测试集，可自定义题目难度、知识点标签、评分规则，生成适配特定研究场景的专属评测基准，满足细分领域的模型测试需求，相关自定义测试集可选择公开分享给其他研究人员使用。
怎么使用
- 第一步，访问MATHVERSE官方网站，在首页导航栏找到“Dataset”板块，浏览测试集的题型、难度、覆盖知识点等基本信息，确认该评测基准符合自身使用需求。第二步，点击数据集下载入口，按照页面提示填写相关使用申请信息，提交后获取公开测试集的下载权限，将测试集文件保存到本地。第三步，使用下载的测试集对待评测的多模态大语言模型进行测试，整理模型的答题结果，按照平台要求的格式生成统一的结果文件。第四步，回到网站找到“Evaluation”板块，上传整理好的模型答题结果文件，选择需要的评测维度和比对基准，提交评测请求等待系统处理。第五步，评测完成后在个人中心查看完整的评测报告，可在线浏览各维度得分、错误分析、横向对比数据，也可将报告导出到本地保存使用。
适合什么人群
- 多模态大模型研发人员(模型能力测试场景)
- AI评测领域从业者(基准测试搭建场景)
- 高校人工智能方向研究者(学术实验验证场景)
- 数学教育科技产品开发者(智能解题产品测试场景)
- 计算机视觉方向研究者(图表语义理解研究场景)
- 自然语言处理方向研究者(多模态推理研究场景)
总结
这是一个聚焦多模态大模型视觉数学能力评测的学术类项目平台，和通用的大模型评测工具不同，它专门针对含图表、图像信息的数学问题场景，填补了现有评测基准在跨模态数学推理能力测试上的空白。平台提供的测试集覆盖了从基础几何题到复杂高等数学图表题的多个难度层级，不仅有标准化的评分体系，还公开了多个主流模型的测试基线数据，对于从事多模态大模型研发、AI推理能力研究的人员来说，是很有参考价值的评测工具。目前平台的所有公开测试集都可免费申请用于非商业研究，同时支持用户自定义扩充测试集，适配不同细分研究场景的需求，对于相关领域的学术研究和产品开发都能提供有效的数据支撑。
价格与免费额度
该项目面向非商业学术研究场景提供免费版本，免费版本可下载全部公开测试集，使用基础的自动评测、结果比对、报告生成功能，无使用次数限制，仅需要在使用时标注项目来源。目前无商业付费版本，商业场景使用需要提前联系项目团队申请授权，根据具体使用场景和需求协商授权方式，建议非商业研究的用户直接使用免费版本即可满足评测需求。
优点与不足
优点
- 测试集分类精细，覆盖不同难度、不同题型的视觉数学问题，可适配不同能力层级模型的评测需求
- 评测维度全面，不仅判断答案正确性，还对图表解析、逻辑推导等环节进行评分，结果参考性强
- 公开主流多模态模型的基线测试结果，方便用户做横向对比，无需重复测试已有公开模型
- 支持用户自定义上传测试题目，可生成专属评测基准，满足细分研究场景的个性化需求
- 非商业研究场景可免费使用公开测试集，学术友好度较高
不足
- 网站界面仅支持英文，对不熟悉英文的国内用户使用存在一定门槛
- 自定义评测功能需要用户自行适配结果上传格式，没有提供配套的测试调用SDK，使用成本较高
- 公开测试集中高等数学阶段的题型占比相对较少，针对前沿学术研究的覆盖度有待提升
- 暂不支持在线直接调用模型进行测试，需要用户本地完成测试后再上传结果，流程不够便捷
能帮你做的 8 件事
- 01标准化测试集
- 02结果自动比对
- 03多维度能力评分
- 04短板分析报告
- 05多模态大模型评测场景的常用方案
- 06视觉数学测试场景的常用方案
- 07多模态大模型研发人员(模型能力测试场景)的日常效率工具
- 08零成本体验完整核心功能
更新历史
- MATHVERSE 收录进 Toolifai 目录
- 页面资料核验与信息更新
常见问题
使用MATHVERSE的测试集需要满足什么条件？
非商业性质的学术研究场景下，用户只需要在下载测试集时填写相关申请信息，包括所属机构、研究方向、使用用途等，提交后即可免费获取测试集的使用权限。使用时需要在相关研究成果中引用MATHVERSE项目的官方论文标注来源，商业场景下使用该测试集需要提前向项目团队发送邮件申请授权，说明具体的使用场景和用途，经过团队审核确认后才可使用，未获得授权不得将测试集用于商业产品开发、商业评测等场景。
支持哪些格式的模型结果上传？
目前平台支持JSON和CSV两种格式的结果文件上传，上传的文件需要按照平台提供的模板格式填写，每道题对应仅此的题目ID，需要包含模型的最终答案、解题步骤、图表信息解析内容三个核心字段。如果格式不符合要求，系统会自动提示错误并给出修改建议，用户调整后可重新上传，建议在上传前先下载官方提供的结果模板，按照模板要求整理模型输出内容，避免出现格式错误导致评测失败的情况。
评测结果可以和哪些主流模型做对比？
平台目前已经公开了GPT-4V、Gemini Pro Vision、Claude 3 Opus、LLaVA-1.5、Qwen-VL等十余个主流多模态大模型在完整测试集上的评测结果，涵盖闭源商用模型和开源模型两个类别。用户完成评测后，系统会自动将待测试模型的各维度得分与这些公开基线模型进行横向对比，生成对比图表，用户也可以自行选择特定的模型进行定向对比，方便了解待测试模型在同类产品中的能力位置。
可以自己添加题目到测试集中吗？
平台支持用户上传自定义题目扩充测试集，上传时需要填写题目对应的难度标签、知识点标签、标准答案、评分细则等信息，上传的题目会经过系统基础校验，确认符合格式要求后即可加入到个人专属测试集中。用户可以选择将自定义的测试集公开分享给其他用户使用，也可以设置为仅个人可见，自定义测试集的评测流程和官方测试集一致，同样支持自动评分和报告生成。
评测报告包含哪些内容？
评测报告包含四个核心部分，第一部分是整体得分概览，展示模型的整体正确率以及四个核心能力维度的得分情况；第二部分是题型得分明细，展示不同类型、不同难度、不同知识点题目的正确率分布；第三部分是错误案例分析，列出模型答错的典型题目，标注错误类型，比如图表识别错误、公式应用错误、逻辑推导错误等；第四部分是横向对比数据，展示模型和公开基线模型的得分对比情况，报告支持导出为PDF格式，方便用户用于研究汇报或论文撰写。
开始使用 MATHVERSE
从官方入口了解最新功能与使用方式。
由 Toolifai 编辑维护
欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。
