FlagEval

FlagEval是北京智源人工智能研究院推出的AI模型评测平台，核心定位是为大语言模型、多模态模型提供统一标准的评测服务。平台支持多维度模型性能对比、专项领域定制化评测、评测报告自动生成三大核心功能，面向AI研究者、算法工程师、行业产品经理等群体，可应用于模型研发迭代、选型采购、学术研究性能验证等场景，助力AI技术落地与行业生态建设。

主要功能

• 多模型统一评测：支持对话大语言模型、视觉语言模型、跨模态生成模型等多种类型模型的评测，同时兼容开源模型上传部署、闭源模型API接入两种接入方式。用户只需按照平台指引完成模型接入配置，即可在预设的通用评测基准下完成测试，所有模型采用相同的测试集与评分规则，确保不同模型的性能对比结果具备参考性。
• 专项领域评测：提供K12学科测验、金融量化交易评测、代码生成能力评测、多模态理解评测等多个专项评测方向。用户可根据自身模型的应用领域选择对应专项测试集，测试过程中平台会模拟真实场景的输入要求，输出对应领域的细分性能指标，帮助开发者精准定位模型在特定场景下的优势与不足。
• 评测报告生成：完成评测任务后，平台会自动生成结构化的评测报告，内容包含整体性能排名、各细分维度得分、同类型模型对比数据、错误案例抽样分析等模块。报告支持在线查看与PDF导出，用户可直观看到模型在不同测试任务下的表现，为模型优化方向提供数据参考。
• 自定义评测配置：支持用户上传私有测试数据集，自定义评测指标权重、评分规则。用户只需按照平台指定格式上传测试样本与标注数据，即可搭建专属评测流程，满足企业内部模型迭代、特定行业场景评测等个性化需求，无需自行搭建评测环境。
• 评测结果可视化：提供多维度的评测结果可视化展示界面，包含横向同类型模型性能对比雷达图、纵向不同版本模型迭代趋势折线图、各测试任务得分分布柱状图等多种图表形式。用户可直观对比不同模型在各维度的差异，快速定位模型的优劣势领域。
• 开源基准数据集：平台对外开放所有通用评测基准的数据集与评测脚本，用户可免费下载使用。数据集涵盖通用语言理解、知识推理、多模态交互等多个方向，均经过学术界验证，可直接用于本地模型研发过程中的性能测试，降低研究者的评测数据准备成本。

怎么使用

1. 第一步，访问FlagEval官方网站，点击首页注册按钮，使用邮箱或机构认证信息完成账号注册，验证通过后登录平台进入主界面。第二步，根据待评测模型的类型，在左侧导航栏选择对应的评测任务入口，如大语言模型评测或多模态模型评测。第三步，按照页面指引完成模型接入，开源模型可通过上传模型文件或绑定代码仓库完成部署，闭源模型只需填写API调用密钥与参数配置。第四步，选择评测数据集，可直接使用平台提供的通用基准或专项评测集，也可上传自定义私有测试集，确认后提交评测任务。第五步，等待评测任务完成，在任务中心查看可视化评测结果，下载完整评测报告，还可将结果与平台公开的其他模型性能数据进行对比。

适合什么人群

• AI研究者（学术研究中验证模型性能）
• 算法工程师（模型研发迭代阶段测试优化）
• 企业AI产品经理（AI模型选型采购对比）
• AI行业分析师（不同模型性能调研分析）
• 高校AI专业师生（课程学习与实验验证）
• 金融/教育行业AI从业者（垂类模型场景适配测试）

总结

这是由国内知名AI研究机构推出的模型评测平台，区别于商业机构推出的评测服务，其评测标准与数据集均由学术领域专家共同制定，中立性较强。平台既覆盖了通用大模型的常规评测维度，也针对教育、金融等垂直领域提供了定制化评测方案，同时兼容开源与闭源模型的接入需求，还对外开放了评测数据集与脚本，对AI研发群体的友好度较高。目前平台已经收录了国内外数十款主流大模型的评测结果，用户不仅可以提交自有模型进行测试，也可以直接查看公开的模型对比数据，为学术研究与产业应用提供了统一的性能参考标尺。对于需要客观验证模型性能、对比不同模型适配性的用户来说，该平台的评测结果参考价值较高，无需自行搭建复杂的评测环境，即可获得多维度的性能分析数据。

价格与免费额度

平台提供免费版与机构付费版两种服务。免费版支持用户使用通用评测基准测试3个以内的模型，可查看基础评测报告与公开的模型对比数据，单月评测任务上限为5次，适合个人研究者与小型团队的基础评测需求。机构付费版分为年度订阅与单次任务付费两种模式，年度订阅价格根据使用权限从3万元到20万元不等，支持自定义评测数据集、无限制任务提交、专属技术支持，还可定制私有评测空间，适合中大型企业与研究机构的高频评测需求。单次专项评测任务根据复杂度收费，价格从5000元到2万元不等，适合有临时评测需求的用户。

优点与不足

能帮你做的 8 件事

1. 01多模型统一评测
2. 02专项领域评测
3. 03评测报告生成
4. 04自定义评测配置
5. 05大模型评测场景的常用方案
6. 06多模态模型评测场景的常用方案
7. 07AI研究者（学术研究中验证模型性能）的日常效率工具
8. 08先用免费额度验证需求再决定付费

更新历史

• 2026.06.14FlagEval 收录进 Toolifai 目录
• 页面资料核验与信息更新

常见问题