基准测试 工具
共收录 18 款与「基准测试」相关的 AI 工具，按站内热度排序。
Unify AIUnify AI是面向开发者的大语言模型统一接入与管理平台，核心定位是为多LLM调用场景提供一站式解决方案。平台支持通过一套API对接全球多家主流大模型服务商，提供实时性能基准测试、自定义路由规则设置、自动流量调度三大核心功能。目标用户覆盖AI应用开发工程师、AI产品负责人、大模型研究人员、企业技术团队等，可应用于AI应用多模型兼容开发、大模型选型评估、生产环境LLM流量负载优化、多模型效果对比测试等场景，帮助开发者降低多模型对接成本，提升调用效率。
MLPerf ClientMLPerf Client是MLCommons推出的面向个人端设备的AI性能基准测试平台，核心定位是为消费级到专业级个人电脑提供统一的生成式AI工作负载性能评估标准。平台支持大语言模型本地推理性能测试、AI图像生成负载模拟测试、多场景AI任务综合跑分三大核心功能，目标用户覆盖硬件厂商、PC产品研发人员、AI开发者、数码测评机构、普通消费级用户等，可应用于新品硬件AI性能验证、不同设备AI能力横向对比、AI应用落地前的设备兼容性测试、个人购机前AI性能参考等多个场景，测试结果可直观反映设备处理实际AI任务的实际表现，为PC端AI生态的迭代提供统一的参考依据。
MATHVERSEMATHVERSE是由香港中文大学发起的多模态大语言模型数学能力评估项目，核心定位为提供标准化的视觉数学问题评测基准，帮助开发者测试模型处理含图表类数学题的能力。平台提供包含不同难度、不同题型的视觉数学测试数据集，支持模型输出结果的自动化比对与多维度评分，还可生成可视化的能力短板分析报告。目标用户覆盖大模型研发人员、AI性能评测从业者、高校人工智能方向研究人员、数学教育科技开发者等，可用于多模态大模型迭代优化、学术研究实验验证、数学类AI产品能力测试等场景。
MMStarMMStar是面向大型视觉语言模型多模态能力评估的基准测试集平台，核心定位是为多模态模型研发领域提供标准化、低偏差的能力评测方案。平台包含1500个经过人工筛选的视觉语言样本，覆盖6类核心能力与18个细分评估维度，同时提供传统准确率之外的两套新增评估指标，可帮助研究者识别模型数据泄露风险、量化多模态训练带来的实际性能增益。其目标用户涵盖AI领域研究人员、多模态模型开发团队、高校人工智能相关专业师生，可应用于模型迭代效果验证、学术研究实验评测、模型公开能力对比等多种场景。
FrontierMathFrontierMath是专注于人工智能数学推理能力评估的基准测试平台，由60余位数学家联合打造，核心用于衡量大语言模型等AI系统解决前沿复杂数学问题的能力上限。平台覆盖代数几何、数论、拓扑学、Zermelo-Fraenkel集合论等现代数学全领域问题，所有测试题均为未公开发表的原创内容，可规避训练数据泄露导致的测试结果失真问题。其目标用户包括AI研发团队、数学研究人员、高校AI相关专业师生，适用于AI数学推理能力迭代测试、前沿数学问题研究辅助、AI大模型能力横向对比评估等场景。
AGIBOT WORLD开源AGIBOT WORLD是面向具身AI与机器人学习领域的大规模开源数据集平台，核心定位是为机器人技术研发提供标准化的数据支撑与研究底座。平台包含百万级机器人交互轨迹数据、多维度算法基准测试工具，以及覆盖硬件适配、算法落地的开放生态系统，服务于高校科研人员、机器人企业研发团队、AI算法工程师等群体，可支持具身AI模型训练、机器人操控算法迭代、多智能体协作方案验证等多种研究与开发场景，助力降低机器人学习领域的研究门槛，推动相关技术从实验室向产业化落地。
Apollo-LMMsApollo-LMMs 是聚焦于视频理解方向的大型多模态模型研究项目官网，核心是公开Apollo系列多模态模型的相关研究成果与落地资源。该项目探索视频多模态模型的设计空间，总结性能优化关键要素，公开“Scaling Consistency”研究发现，可降低大模型研发的计算资源投入；同时提供ApolloBench基准测试套件，支持视频理解模型的能力评测。其目标用户包括人工智能领域的科研人员、多模态模型开发者、高校计算机相关专业师生、视频内容平台技术团队、智能监控研发企业、AI教育机构从业者等，可用于多模态模型研发参考、视频理解算法性能验证、大模型设计方案对比、相关课程教学案例展示等场景。
Unified-IO 2Unified-IO 2是艾伦人工智能研究所推出的多模态生成模型演示平台，核心定位是为用户提供统一模态的AI能力体验入口。平台支持图像、文本、音频、动作四类模态的混合输入与输出，单个Transformer架构可实现跨模态语义的统一处理；内置经过120余个数据集微调的预训练模型，可直接适配多类多模态任务需求；平台同时提供基准测试结果查询功能，方便用户直观了解模型在各任务场景下的性能表现。目标用户覆盖AI研究人员、多模态应用开发者、高校相关专业师生、内容创作从业者等，可用于跨模态任务原型验证、模型性能对比分析、多模态应用效果测试、学术研究参考等场景。
Procyon AI Inference Benchmark for AndroidProcyon AI Inference Benchmark for Android是由UL基准测试团队推出的、基于Android NNAPI的AI推理性能基准测试工具，核心定位是为移动产业提供标准化的Android设备AI性能评估方案。核心功能包括：一是采用多个行业通用的神经网络模型执行机器视觉类推理任务，输出量化的性能得分；二是同步验证NNAPI实现的准确性，排查硬件驱动适配问题；三是支持对比不同精度模型在同设备上的推理表现。目标用户覆盖移动芯片厂商、安卓设备制造商、AI算法团队等，可用于硬件研发阶段的驱动优化、不同型号设备的AI性能横向对比、算法落地前的硬件适配验证等场景。
Factorio学习环境开源Factorio学习环境（Factorio Learning Environment, FLE）是基于游戏《Factorio》构建的大语言模型能力评估框架，核心定位为AI研究领域的开放式智能体测试工具。核心功能包括支持结构化任务与开放式任务两类评估协议、可自定义难度梯度的任务配置、标准化的能力评估指标体系。目标用户覆盖AI研究人员、大语言模型开发团队、高校人工智能方向师生、智能体研发从业者、游戏AI爱好者、开源AI项目贡献者。使用场景包括LLM长期规划能力验证、程序合成效果测试、资源分配优化算法评估、智能体多步骤决策能力 benchmark 搭建、复杂开放式领域智能体训练数据集构建等，为大语言模型在复杂任务场景下的能力评估提供标准化测试载体。