Promptfoo

Promptfoo是专注于大语言模型Prompt质量评估与测试的开源工具，核心定位是帮助开发者降低LLM应用的落地风险，提升Prompt的稳定性与有效性。核心功能包括自定义测试用例创建、多维度评估指标配置、Web可视化结果对比，同时支持与现有测试流程、CI/CD pipeline无缝集成。目标用户覆盖LLM应用开发者、AI产品经理、Prompt工程师、算法测试人员等，可应用于对话机器人Prompt调优、RAG系统检索效果验证、AI生成内容合规性检测、多模型输出效果横向对比等多个场景，帮助用户在LLM应用迭代过程中快速定位Prompt的缺陷，减少线上异常问题的出现。

主要功能

• 测试用例创建：用户可通过YAML、JSON或Python代码三种方式编写测试用例，既支持批量导入预设的输入输出样本，也支持按场景分类配置不同的测试分组。每个测试用例可关联对应的预期输出、合规要求、容错范围等规则，系统会自动将测试输入传入指定的Prompt与大语言模型，生成实际输出后与预设规则进行匹配，无需手动逐条验证，大幅提升测试效率。
• 多维度指标评估：平台内置精确匹配、语义相似度、事实一致性、有害内容检测、格式合规性等十余种评估指标，用户可根据自身测试需求自由组合选择。同时支持自定义评估函数，用户可编写Python或JavaScript代码实现专属的业务规则校验，例如特定行业的术语准确性、客服回复的话术标准等，满足不同场景的个性化评估需求。
• 跨模型对比测试：支持同时对接OpenAI、Anthropic、Google Gemini、开源本地大模型等多个主流大模型服务，用户只需在配置文件中填写对应的模型调用信息，即可一次性触发多个模型的同批测试用例运行。系统会自动统计不同模型在同一测试集上的各项指标得分，帮助用户筛选出适配自身业务场景的模型选型。
• Web可视化查看器：测试完成后系统会自动生成可视化报告页面，用户可通过Web Viewer直观查看每个测试用例的输入、Prompt、不同模型的输出、评估得分、失败原因等信息。支持按测试分组、得分区间、失败类型等维度筛选结果，还可并排对比同一输入下不同Prompt版本的输出差异，帮助用户快速定位Prompt的优化方向。
• CI/CD流程集成：提供标准化的命令行工具与GitHub Actions、GitLab CI等主流持续集成平台的适配模板，用户只需添加几行配置即可将Prompt测试集成到现有开发流程中。当团队更新Prompt版本时，系统会自动触发全量测试，若得分低于预设阈值则阻断合并流程，避免存在缺陷的Prompt上线影响用户体验。
• 批量迭代优化：支持同时导入多个Prompt版本进行批量测试，系统会自动统计每个版本在全量测试用例上的综合得分，输出量化的对比结果。用户可基于测试结果针对性调整Prompt的指令、示例、约束条件等内容，再次运行测试即可快速验证优化效果，实现Prompt的迭代闭环，提升调优效率。

怎么使用

1. 第一步，在本地环境通过npm或pip安装promptfoo工具包，安装完成后在终端运行promptfoo init命令，按照引导选择对应的大模型服务商，填写API密钥等基础配置信息，初始化测试项目。第二步，在生成的promptfooconfig.yaml配置文件中，填写需要测试的Prompt内容，支持直接写Prompt文本或引用外部的Prompt文件，同时配置要对比的多个Prompt版本或多个大模型信息。第三步，编写测试用例，可在配置文件的tests字段下逐条添加输入内容与预期规则，也可导入CSV、JSON格式的批量测试数据集，根据测试需求选择对应的评估指标组合。第四步，在终端运行promptfoo eval命令，系统会自动调用大模型运行所有测试用例，根据配置的评估指标计算得分，过程中可实时查看测试进度，等待所有用例运行完成。第五步，运行promptfoo view命令启动本地Web服务，在浏览器打开生成的本地地址即可查看可视化测试报告，对比不同Prompt与模型的输出效果，导出测试数据用于后续优化。

适合什么人群

• LLM应用开发者（对话机器人开发场景）
• Prompt工程师（Prompt调优测试场景）
• AI产品经理（LLM功能效果验证场景）
• 算法测试人员（大模型输出质量检测场景）
• RAG系统研发人员（检索生成效果评估场景）
• AI内容运营（生成内容合规性校验场景）

总结

这是一款面向LLM应用落地全流程的Prompt测试工具，和普通的Prompt编写工具不同，它的核心价值在于将Prompt的效果从主观判断转化为可量化的客观指标，解决了很多团队在LLM应用开发中“不知道Prompt好不好、改了之后会不会出问题”的痛点。它的命令行使用方式对开发者十分友好，不需要复杂的界面操作就能快速集成到现有开发流程中，而Web可视化界面又能让非技术的产品、运营人员也能直观看到对比效果，降低了跨团队沟通的成本。目前已经被大量生产级LLM应用采用，覆盖了客服机器人、AI写作助手、RAG问答系统等多个场景，对于需要保证Prompt稳定性、减少线上异常的团队来说，是一个值得尝试的测试工具。它的开源属性也允许用户根据自身业务需求做二次定制，适配不同行业的特殊评估规则，相比SaaS类的测试工具灵活性更高，数据也能全部保留在本地，满足部分企业的数据安全要求。

价格与免费额度

Promptfoo核心工具库完全开源免费，无使用次数、测试用例数量、模型对接数量的限制，所有核心功能包括测试用例创建、多维度评估、Web查看器、CI集成等都可免费使用，适合个人开发者与中小团队直接使用。官方同时提供付费的企业级服务，价格根据团队规模与定制需求面议，企业版包含云端测试数据存储、团队协作权限管理、专属技术支持、自定义评估模板等功能，还可提供私有化部署服务，适合对数据协作、安全合规有更高要求的中大型企业团队。个人用户与小型团队使用免费版即可满足大部分测试需求，有跨团队协作、专属支持需求的企业可咨询官方获取企业版报价。

优点与不足

能帮你做的 8 件事

1. 01测试用例创建
2. 02多维度指标评估
3. 03跨模型对比测试
4. 04Web可视化查看器
5. 05Prompt测试场景的常用方案
6. 06LLM评估场景的常用方案
7. 07LLM应用开发者（对话机器人开发场景）的日常效率工具
8. 08在网页等多端直接使用

更新历史

• 2026.06.14Promptfoo 收录进 Toolifai 目录
• 页面资料核验与信息更新

常见问题