OpenCompass司南
OpenCompass司南是由上海人工智能实验室联合多家机构发起的开源大语言模型评测平台，核心定位为提供中立、可复现的大模型能力评测服务
OpenCompass司南是由上海人工智能实验室联合多家机构发起的开源大语言模型评测平台，核心定位为提供中立、可复现的大模型能力评测服务。平台支持超100个主流基准数据集，覆盖知识推理、数学计算、代码生成、语言理解、多模态处理等二十余个能力维度，可满足不同场景下的模型性能核验需求。平台面向大模型研发团队、AI领域研究者、企业技术选型人员、高校相关专业学生等群体，可用于模型研发过程中的能力迭代验证、学术研究中的性能对比、企业落地场景下的模型选型参考等多个场景，同时所有评测流程与数据完全开源，支持用户自定义评测任务配置。
- 适用对象
- 大模型研发团队(模型迭代阶段的性能验证)
- 主要功能
- 多维度模型评测、公开性能排行榜
- 计费方式
- 免费增值，部分功能付费
- 平台
- 网页
- 已收录
- 2026.06.13（140 天）
阅读目录
编辑评测与站内热度
编辑综合评分
满分 5 分
六维指标基于站内真实数据（热度、社区反馈、资料完整度、可达性核验等）综合评估，非用户投票。
全站热度排名
#346
分类内排名
#3 / 188
累计站内点击
1
近 7 日点击
1
排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。
OpenCompass司南是什么，怎么使用？
约 7 分钟OpenCompass司南是由上海人工智能实验室联合多家机构发起的开源大语言模型评测平台，核心定位为提供中立、可复现的大模型能力评测服务。平台支持超100个主流基准数据集，覆盖知识推理、数学计算、代码生成、语言理解、多模态处理等二十余个能力维度，可满足不同场景下的模型性能核验需求。平台面向大模型研发团队、AI领域研究者、企业技术选型人员、高校相关专业学生等群体，可用于模型研发过程中的能力迭代验证、学术研究中的性能对比、企业落地场景下的模型选型参考等多个场景，同时所有评测流程与数据完全开源，支持用户自定义评测任务配置。
主要功能
- 多维度模型评测：平台覆盖二十余个大模型能力评测维度，用户可选择知识推理、数学计算、代码生成、多模态理解等不同分类的基准数据集，选择需要评测的开源或闭源大模型提交任务，系统会自动运行评测流程，输出各维度的得分、排名以及与同类型模型的横向对比数据，帮助使用者清晰了解模型的能力边界与优劣特征。
- 公开性能排行榜：平台主页展示动态更新的大模型性能总榜与各细分维度榜单，用户可按照模型类型、评测维度、发布时间等条件筛选榜单内容，点击单个模型即可查看其在所有数据集上的具体得分、评测参数配置、运行环境信息，所有榜单数据均支持下载导出，方便用于研究报告撰写、选型方案论证等场景。
- 自定义评测配置：用户可根据自身业务需求创建自定义评测任务，支持上传私有评测数据集、调整评测prompt模板、设置样本抽样比例、指定评测运行的硬件环境参数，任务完成后系统会生成专属评测报告，同时支持将自定义任务的配置分享给团队成员，满足不同行业场景下的个性化评测需求。
- 评测结果复现工具：平台提供所有公开评测任务的完整复现包，用户可下载对应任务的数据集、评测代码、环境配置文件，在本地或自有云服务器上按照文档步骤运行，即可得到与平台一致的评测结果，帮助使用者验证评测数据的真实性，也可基于现有配置进行二次修改适配自身需求。
- 模型对比分析：用户可同时选择至多5个不同的大模型，一键生成多模型对比报告，报告包含各模型在不同能力维度的得分雷达图、各数据集上的得分差异明细、典型错误案例对比分析，还支持导出为PDF格式文件，方便在团队选型会议、学术研讨场景中展示使用。
- 开源社区协作：平台配套开源的评测工具库，用户可提交新的基准数据集、评测指标计算方法、适配的新模型接口，经社区审核通过后即可纳入公共评测体系，所有贡献者会在平台贡献榜中展示，同时社区会定期组织评测方法研讨活动，同步最新的大模型评测研究进展。
怎么使用
- 第一步，访问https://rank.opencompass.org.cn进入平台主页，无需注册即可查看公开的模型排行榜与基础评测数据，可通过顶部导航栏快速切换不同维度的榜单分类，浏览各模型的基础性能信息。第二步，若需要使用自定义评测或对比功能，点击右上角注册按钮，通过邮箱完成账号注册与验证，登录后可解锁所有功能权限，个人用户无需资质审核即可使用基础服务，企业团队可申请专属团队空间。第三步，开展模型评测时，可选择平台预设的评测方案，也可自定义选择评测数据集、待评测模型、运行参数，确认配置后提交评测任务，系统会自动调度资源执行，用户可在个人中心实时查看任务进度。第四步，任务完成后，在个人中心的任务列表中查看评测报告，可切换不同数据可视化形式查看结果，也可选择多个模型生成对比分析报告，所有数据支持CSV、PDF等格式导出。第五步，若需要复现公开评测结果，可进入对应模型的评测详情页，下载完整的复现包与说明文档，按照文档指引在本地环境中运行，遇到问题可查阅社区文档或提交issue寻求协助。
适合什么人群
- 大模型研发团队(模型迭代阶段的性能验证)
- AI领域研究者(学术研究中的模型性能对比)
- 企业技术负责人(AI落地场景的模型选型)
- 高校人工智能专业学生(大模型相关课程学习)
- AI产品经理(不同模型能力边界调研)
- 开源AI社区贡献者(评测方法与数据集迭代)
用 OpenCompass司南 查最新大模型能力排名榜单
你可以直接打开浏览器访问OpenCompass司南的官方站点，无需注册登录就能进入公开榜单主页。进入后你可以直接在首页看到全品类大模型的综合能力总榜，也可以通过顶部的分类筛选栏，按需切换到知识推理、数学计算、代码生成等不同细分能力的专项榜单，点击任意模型条目就能查看它在各个细分数据集上的详细得分、评测参数与完整溯源报告，所有公开数据都支持直接查看、下载参考。
你不需要做额外复杂操作，所有榜单数据都是平台实时更新的中立评测结果，没有第三方机构的额外干预，你可以直接基于榜单结果快速筛选出符合自己需求的大模型产品，省去自行逐一测试对比的大量时间。所有公开榜单内容都完全对未注册用户开放，具体展示内容以官网最新版本为准。
提交自定义任务测私有大模型性能
完成账号登录后，你可以在平台侧边栏找到「自定义评测」的功能入口，按照页面提示上传你准备好的私有测试数据集，从平台提供的上百个基准评测集中勾选需要联动的评测维度，填写你要评测的模型接口相关配置信息，确认参数无误后就能提交评测任务。
任务提交后你可以在个人中心的任务列表里实时查看运行进度，评测完成后平台会自动生成可视化的对比报告，清晰展示你的模型在各个能力维度的得分情况、和主流公开大模型的差距对比，帮你快速定位模型的能力短板。平台支持的自定义数据集上限、评测维度可选范围以官网最新说明为准。
开始使用 OpenCompass司南
你直接访问官方站点后，点击页面右上角的注册按钮，使用手机号完成验证就能登录个人账号，无需额外审核即可使用全部免费功能。目前平台基础功能完全免费，未注册用户也能浏览所有公开榜单与评测报告，注册个人用户可以免费使用公共评测资源提交自定义任务，免费版有对应的每日任务提交数量、单任务样本上限限制，如果你是研发团队有更高的评测需求，可以按需选择对应的付费版本，具体付费权益与价格以官网公示为准。
刚上手的新用户建议先从浏览公开榜单、使用平台预设的轻量对比功能开始熟悉操作逻辑，等完全了解平台评测规则后，再尝试上传自有数据集提交自定义评测任务，能大幅降低操作出错的概率。
编辑点评
这是一个专注于大语言模型评测的开源平台，不同于商业机构发布的带有倾向性的模型榜单，该平台的所有评测流程、数据集、计算逻辑完全公开，所有结果都支持第三方复现，中立性是其核心特点。平台覆盖的评测维度非常全面，不仅包含通用的语言理解、知识问答维度，还针对垂直场景设置了医疗、法律、代码等专项评测数据集，无论是做通用大模型研发还是垂直领域模型适配，都能找到对应的评测基准。平台还支持高度自定义的评测配置，用户可以上传自己的业务数据集，对不同模型进行针对性测试，解决了通用评测结果与实际业务场景匹配度低的问题。对于需要选型大模型的企业来说，这个平台的对比分析功能可以直观呈现不同模型在多个维度的差异，减少选型过程中的盲目性，对于研究人员来说，开源的评测框架也可以直接复用，减少重复开发的成本。
价格与免费额度
平台基础功能完全免费，未注册用户可查看所有公开榜单与评测报告，注册个人用户可免费使用公共评测资源、提交自定义评测任务、使用多模型对比功能，免费版用户提交的公共资源评测任务有每日3次的数量限制，单任务最大支持1000条样本数据。付费版分为团队版与企业定制版，团队版每月费用为2999元，可提升每日任务提交上限至20次，单任务最大支持10万条样本，同时提供100G的私有数据集存储空间，适合中小团队的模型研发与选型需求。企业定制版根据实际需求报价，可提供专属计算资源集群、私有部署服务、定制化评测指标开发、专属技术支持，适合有大量评测需求或者数据安全要求较高的大型企业与研究机构。
优点与不足
优点
- 所有评测流程与数据完全开源，支持第三方自主复现，评测结果中立性较强
- 覆盖超100个基准数据集，包含二十余个能力维度，评测覆盖范围较广
- 支持自定义评测配置，可上传私有数据集调整评测参数，适配个性化评测需求
- 提供多模型对比分析功能，可生成可视化对比报告，方便选型与研究使用
- 配套完善的开源工具库与社区支持，用户可贡献新的评测资源，参与平台迭代
不足
- 部分高复杂度评测任务运行时间较长，资源紧张时需要排队等待调度
- 自定义评测功能需要用户具备一定的大模型相关技术基础，上手门槛较高
- 部分垂直领域的专项评测数据集数量较少，难以满足非常细分的行业评测需求
- 闭源商用模型的评测依赖厂商提供的API接口，若厂商调整接口可能影响旧评测结果的复现性
能帮你做的 8 件事
- 01多维度模型评测
- 02公开性能排行榜
- 03自定义评测配置
- 04评测结果复现工具
- 05大模型评测场景的常用方案
- 06AI评测平台场景的常用方案
- 07大模型研发团队(模型迭代阶段的性能验证)的日常效率工具
- 08先用免费额度验证需求再决定付费
更新历史
- OpenCompass司南 收录进 Toolifai 目录
- 页面资料核验与信息更新
常见问题
平台上的评测结果是否可以直接用于学术论文引用？
平台的公开评测结果可以用于学术论文引用，每个评测任务与榜单都有对应的DOI标识，用户在详情页可以获取标准引用格式。不过需要注意的是，若你使用的是自定义配置的评测结果，需要在论文中明确说明评测的数据集配置、prompt模板、抽样方式等参数，同时建议附上评测任务的复现包，方便其他研究者验证。另外如果是针对特定研究方向的论文，建议优先选择对应领域的专项评测数据集结果，通用榜单的总得分仅可作为辅助参考，避免单一指标造成的结论偏差。
如何将自己研发的大模型提交到公开排行榜？
用户可通过平台的模型提交入口申请将自研模型加入公开排行榜，首先需要填写模型的基本信息，包括名称、版本、发布机构、开源地址、API接口文档（若为闭源模型），同时需要签署模型评测授权协议，确认允许平台使用公开数据集对其进行评测。提交申请后，平台团队会在3个工作日内完成审核，审核通过后会调度资源进行全维度评测，评测完成后会将结果同步给提交方确认，确认无误后即可纳入公开排行榜。若后续模型发布迭代版本，可再次提交更新申请，平台会重新评测并更新榜单数据。
自定义评测任务上传的私有数据集是否会被公开？
用户上传的私有数据集默认仅本人与授权的团队成员可见，平台不会将私有数据集公开或者用于其他公共评测任务，数据存储会按照相关安全规范进行加密处理。若用户主动选择将私有数据集贡献到公共评测体系，才会进入公开数据集列表，供所有用户使用。对于有严格数据安全要求的用户，也可以选择下载平台的开源评测工具库，在本地或自有服务器上运行评测任务，无需上传数据集到平台服务器，完全在自有环境中完成整个评测流程，保障数据安全。
为什么不同时间查询同一个模型的评测得分会有差异？
同一模型的评测得分出现差异主要有几个原因，首先平台会定期更新评测数据集与评测方法，当有更合理的新基准数据集或者更准确的指标计算方法上线时，会对存量模型进行重新评测，得分会相应调整；其次部分闭源模型的评测依赖厂商提供的API接口，若厂商对模型进行了后台迭代更新，即使版本号未变，实际输出结果也会有差异，导致评测得分变化；另外如果是抽样评测的任务，不同批次的抽样样本不同，也可能造成小范围的得分波动，用户可在评测详情页查看具体的评测时间与使用的数据集版本，确认得分变化的原因。
平台是否支持多模态大模型的评测？
平台目前已经支持多模态大模型的评测，覆盖图像理解、图文生成、视频理解等多个多模态能力维度，包含十余个主流多模态基准数据集。用户提交多模态模型评测任务时，可选择对应的多模态数据集，上传模型的多模态接口配置即可运行评测，评测报告中会分别呈现文本能力与多模态能力的得分，也可与其他多模态模型进行横向对比。后续平台还会持续扩充3D内容理解、音频处理等更多模态的评测能力，覆盖更多类型的大模型评测需求。
运行评测任务失败应该如何排查问题？
评测任务失败首先可以在任务详情页查看错误日志，常见的失败原因包括：模型API接口配置错误、调用频率超出模型服务商限制、数据集格式不符合要求、计算资源不足等。若为接口配置问题，可检查模型的API密钥、请求地址、参数格式是否正确，调整后重新提交任务；若为调用频率限制，可在任务配置中调低并发请求数，延长请求间隔时间；若为数据集格式问题，可参考平台提供的数据集格式规范，修改后重新上传。如果通过日志无法定位问题，可在社区提交issue，附上任务ID与错误日志截图，平台团队与社区贡献者会协助排查解决。
开始使用 OpenCompass司南
从官方入口了解最新功能与使用方式。
由 Toolifai 编辑维护
欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。
