MMStar
MMStar是面向大型视觉语言模型多模态能力评估的基准测试集平台，核心定位是为多模态模型研发领域提供标准化、低偏差的能力评测方案
MMStar是面向大型视觉语言模型多模态能力评估的基准测试集平台，核心定位是为多模态模型研发领域提供标准化、低偏差的能力评测方案。平台包含1500个经过人工筛选的视觉语言样本，覆盖6类核心能力与18个细分评估维度，同时提供传统准确率之外的两套新增评估指标，可帮助研究者识别模型数据泄露风险、量化多模态训练带来的实际性能增益。其目标用户涵盖AI领域研究人员、多模态模型开发团队、高校人工智能相关专业师生，可应用于模型迭代效果验证、学术研究实验评测、模型公开能力对比等多种场景。
- 适用对象
- AI多模态领域研究人员（开展模型能力评测实验）
- 主要功能
- 多维度样本库、数据泄露检测
- 计费方式
- 免费
- 平台
- 网页
- 已收录
- 2026.06.14（143 天）
阅读目录
编辑评测与站内热度
编辑综合评分
满分 5 分
六维指标基于站内真实数据（热度、社区反馈、资料完整度、可达性核验等）综合评估，非用户投票。
全站热度排名
#1970
分类内排名
#32 / 188
累计站内点击
1
近 7 日点击
1
排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。
MMStar是什么，怎么使用？
约 4 分钟MMStar是面向大型视觉语言模型多模态能力评估的基准测试集平台，核心定位是为多模态模型研发领域提供标准化、低偏差的能力评测方案。平台包含1500个经过人工筛选的视觉语言样本，覆盖6类核心能力与18个细分评估维度，同时提供传统准确率之外的两套新增评估指标，可帮助研究者识别模型数据泄露风险、量化多模态训练带来的实际性能增益。其目标用户涵盖AI领域研究人员、多模态模型开发团队、高校人工智能相关专业师生，可应用于模型迭代效果验证、学术研究实验评测、模型公开能力对比等多种场景。
主要功能
- 多维度样本库：平台内置1500个经过人工审核的视觉语言配对样本，覆盖感知、认知、推理、创造等6类核心能力，拆分出18个细分评估维度，所有样本均保证强视觉依赖性，仅通过文本无法完成解答，可全面覆盖多模态模型的各类能力测试需求。
- 数据泄露检测：平台提供专门的泄露风险评估指标，通过比对样本与公开训练数据集的重合度、模型在纯文本与多模态输入下的表现差值，可量化识别模型在训练过程中是否存在测试集数据泄露问题，降低评测结果的偏差性。
- 性能增益衡量：平台推出多模态训练增益评估指标，通过对比模型在仅文本输入、仅视觉输入、多模态联合输入三类场景下的表现差异，可量化计算多模态训练环节为模型带来的实际能力提升，排除文本基座本身能力对评测结果的干扰。
- 标准化评测流程：平台内置统一的评测执行流程，研究者只需按照要求上传模型的推理结果文件，系统即可自动计算准确率、泄露风险值、多模态增益值三类核心指标，同时生成细分维度的能力雷达图，无需额外手动统计数据。
- 结果对比展示：平台支持不同模型的评测结果横向对比，可同时展示多个模型在各核心能力、细分维度下的得分差异，自动生成可视化对比图表，方便研究者明确待评测模型在同类产品中的能力定位。
- 样本标注下载：平台提供全量样本的标注数据下载服务，包含每个样本对应的视觉内容说明、问题文本、正确答案、所属能力维度标签，研究者可根据需求拆分样本子集，开展针对性的定向能力评测实验。
怎么使用
- 访问MMStar官方网站，在首页导航栏找到“资源下载”板块，下载完整的测试样本集与标注文件，确认样本的使用规范与授权范围。
- 根据研究需求筛选对应维度的测试样本，使用待评估的多模态模型完成所有样本的推理，按照平台要求的格式整理推理结果文件。
- 进入网站的“在线评测”板块，上传整理好的模型推理结果文件，填写模型基础信息与相关实验参数，提交评测请求。
- 等待系统完成自动计算，期间可在“我的任务”板块查看评测进度，通常15分钟内即可生成完整的评测报告。
- 下载评测报告，查看准确率、数据泄露风险值、多模态增益等核心指标，以及各细分维度的能力得分，可与平台公开的基准模型结果做对比分析。
适合什么人群
- AI多模态领域研究人员（开展模型能力评测实验）
- 多模态模型开发团队（验证模型迭代效果）
- 高校人工智能专业师生（开展多模态相关课题研究）
- AI竞赛主办方（设置多模态模型竞赛评测环节）
- AI产品评测机构（开展公开多模态产品能力对比）
- 企业AI技术选型团队（评估备选多模态模型能力）
总结
该基准测试平台是多模态模型评测领域的代表性工具，其核心优势在于解决了传统多模态评测中普遍存在的两个问题：一是部分测试样本无需视觉信息仅通过文本即可解答，导致评测结果无法真实反映模型的多模态能力，该平台所有样本均经过人工校验，确保必须结合视觉内容才能完成解答，保障了评测的有效性；二是传统评测仅关注准确率，无法识别训练数据泄露带来的虚高得分，也无法区分能力提升是来自文本基座还是多模态训练，其新增的两项指标恰好填补了这两个空白。对于需要严谨评估多模态模型真实能力的研发与研究人员来说，该平台的评测体系能够有效降低实验偏差，提升结论的可信度，同时全量公开的样本与标注也方便研究者根据需求开展定制化的实验，目前已经被多项多模态领域的学术研究采用作为评测基准。
价格与免费额度
MMStar所有核心功能均面向公众免费开放，免费版无使用次数限制，可自由下载全部1500个样本与标注数据，使用在线评测功能、下载评测报告均无需支付费用，也没有商业使用限制，仅要求用户在相关研究成果中引用该基准的对应论文。平台目前暂无付费版本，所有功能均向所有用户平等开放，适合各类研究与开发场景使用。
优点与不足
优点
- 所有样本均经过人工审核，强视觉依赖性保证评测结果真实反映多模态能力
- 新增数据泄露检测与多模态增益两类指标，可识别传统准确率指标无法发现的问题
- 覆盖6类核心能力与18个细分维度，可定位模型在不同能力方向的优劣
- 支持在线自动评测与多模型结果对比，自动生成可视化报告，降低人工统计成本
- 全量样本与标注免费开放下载，支持研究者拆分定制子集开展定向实验
不足
- 目前仅支持视觉语言多模态能力评测，暂不覆盖音频、视频等其他模态的模型测试
- 在线评测仅接受固定格式的结果文件上传，不支持直接接入模型API完成自动化推理
- 公开的基准模型结果数量有限，无法覆盖所有主流的多模态大模型
能帮你做的 8 件事
- 01多维度样本库
- 02数据泄露检测
- 03性能增益衡量
- 04标准化评测流程
- 05多模态评测场景的常用方案
- 06视觉语言模型场景的常用方案
- 07AI多模态领域研究人员（开展模型能力评测实验）的日常效率工具
- 08零成本体验完整核心功能
更新历史
- MMStar 收录进 Toolifai 目录
- 页面资料核验与信息更新
常见问题
使用MMStar开展实验需要如何引用？
用户在公开的学术论文、技术报告、产品介绍等内容中提及使用该基准获得的评测结果时，需要引用该基准对应的官方发表论文，具体的引用格式可在网站的“引用说明”板块查看，包含APA、MLA、GB/T 7714等多种常用格式的模板，用户可根据自身需求直接复制使用。如果是用于非公开的内部研发测试，则无需进行引用。
MMStar的样本是否存在版权问题？
平台所有样本的视觉内容均来自无版权的公开图库，或者获得了创作者的正式授权，问题设计与标注内容均为平台团队原创，用户可将样本用于非商业性质的研究、开发、评测场景，无需额外申请授权。如果需要将样本用于商业产品的宣传等商业用途，需要提前联系平台团队获取书面授权，避免产生版权纠纷。
可以只选择部分维度的样本进行评测吗？
支持用户自定义选择评测维度，平台提供的样本标注文件中包含每个样本对应的核心能力标签与细分维度标签，用户可根据自身的研究需求，筛选对应维度的样本组成子集开展评测。如果是使用在线评测功能，上传子集对应的推理结果时，需要在提交页面标注清楚使用的样本范围，系统会根据实际提交的样本范围计算对应指标，不会强制要求使用全量样本。
评测结果可以公开吗？
用户拥有自己模型评测结果的全部所有权，可以自由公开相关结果，平台也鼓励用户将模型的评测结果提交至公开排行榜，供行业参考。如果用户希望将结果纳入平台的官方公开排行榜，需要在提交评测结果时勾选“同意纳入公开排行榜”选项，同时提供模型的基础信息与相关公开介绍链接，平台团队审核通过后即可在排行榜页面展示。
支持自定义添加评测样本吗？
目前官方版本的样本库暂不支持用户自行添加样本，如果用户有自定义评测的需求，可以下载全量样本后，自行添加自有样本组成自定义评测集，使用本地工具计算对应的指标，平台也提供了开源的评测计算脚本，可直接用于自定义样本集的指标计算。如果用户希望自己设计的样本纳入官方样本库，可以联系平台团队提交样本申请，经过审核符合要求的样本会在后续版本中更新加入。
开始使用 MMStar
从官方入口了解最新功能与使用方式。
由 Toolifai 编辑维护
欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。
