TAG
大模型评估 工具。
全部标签共收录 7 款与「大模型评估」相关的 AI 工具，按站内热度排序；每张卡片可直达详情页查看定价、平台支持与同类对比。
Athina AI
Athina AI是专注于LLM全生命周期运维的观测与评估平台，核心面向生产环境下大语言模型应用的开发与运维人员，提供幻觉检测、性能诊断、自定义评估三大核心能力。平台可对接多种主流LLM接口，帮助用户实时监控生产环境中模型的输出合规性，快速定位异常输出的根因，同时支持多维度对比不同模型的运行表现，适配对话机器人、内容生成、智能客服、RAG检索增强生成等多种LLM落地场景，帮助团队降低模型运维成本，提升LLM应用的落地稳定性。
Berkeley Function-Calling Leaderboard
Berkeley Function-Calling Leaderboard是由加州大学伯克利分校Gorilla团队开发的大语言模型函数调用能力专业评估平台，核心定位是为AI研发领域提供标准化的函数调用性能基准。平台支持多维度模型性能对比、真实场景测试数据集下载、测试场景自定义配置、动态排名更新、能力维度细分评分五大核心功能，面向大语言模型研发人员、AI工具开发者、学术研究人员、AI产品经理、编程工具使用者、AI教育从业者等群体，可用于模型选型参考、研发效果验证、学术研究基准参考、产品技术选型等场景，帮助相关从业者客观了解不同大模型在工具调用、函数执行场景下的实际表现。
WebWalker
WebWalker是由阿里巴巴集团通义实验室开发的多智能体框架，核心定位是评估大型语言模型在网页遍历任务中的表现，可模拟人类浏览网页的行为逻辑，通过探索与评估相结合的范式系统提取高质量网页数据，支持深入挖掘多层级网页信息，可帮助研究人员优化大模型信息检索能力，适用场景包括大模型开放域问答能力优化、多步骤信息检索场景模拟、网页数据结构化提取研究等，目标用户覆盖大模型研发人员、自然语言处理研究者、信息检索领域从业者等群体。
Humanloop
Humanloop是专注于大语言模型生产级应用搭建与全生命周期管理的协作平台，核心定位为降低AI应用从原型落地到生产环境的门槛，提升上线后运行的稳定性与效果。平台支持多模型适配管理、提示词全流程迭代优化、多角色协同开发、运行数据实时监控等核心功能，目标用户覆盖AI应用开发者、产品经理、运营人员、企业技术团队等。适用于企业搭建智能客服系统、开发智能营销内容生成工具、构建企业内部知识库问答机器人、上线AI代码辅助开发工具等多元场景，可帮助团队缩短AI应用开发周期，降低运维阶段的效果波动风险。
PromptTools
PromptTools是面向大语言模型应用开发者的开源提示词测试与评估工具集，核心定位为帮助开发者在本地环境完成提示词效果验证、模型输出质量评估、测试用例自动化落地。核心功能包括多框架提示词批量对比测试、可自定义的输出质量评估规则、CI/CD工作流原生集成能力，支持开发者在Jupyter Notebook、Python脚本等熟悉的开发界面中完成全流程测试，适用于大模型应用开发阶段的提示词调优、多模型选型、上线前质量校验等场景，有效降低大模型输出不稳定带来的应用风险。 · 开源
Video-MME
Video-MME是专注于多模态大型语言模型在视频分析领域性能评估的基准测试平台，核心定位为学术研究领域的标准化视频多模态能力评估工具。平台支持多维度视频理解能力测试，覆盖不同时长视频样本库，提供量化的模型性能对比报告。目标用户为多模态大模型研究人员、高校计算机相关专业师生、AI企业算法开发团队，可应用于模型迭代效果验证、不同架构模型横向对比、学术论文实验支撑、视频多模态算法落地前测试等场景。
Respan
Respan是面向AI开发团队的统一大语言模型工程平台，提供从模型调用到效果优化的全链路工具支撑。平台核心功能包含AI网关路由、模型可观测性监控、大语言模型输出评估、自动提示词优化等服务，帮助开发团队降低大语言模型应用的工程落地复杂度。该平台面向AI应用开发工程师、产品研究团队、企业AI项目组等用户，适用于大语言模型应用开发调试、线上运行问题排查、提示词效果迭代、多模型统一管理等开发场景。