编程
Promptfoo
Promptfoo 是什么?
Promptfoo 可把模型、提示词、输入样例和通过条件存成一组测试。更新应用后重新运行,逐条查看差异。安全测试还可为获授权的应用生成并运行测试样例。
Promptfoo 适合谁?
适合要在上线前验证提示词、检索问答或模型升级的 AI 开发团队。需有可测试的模型或应用入口。

编程
Promptfoo 可把模型、提示词、输入样例和通过条件存成一组测试。更新应用后重新运行,逐条查看差异。安全测试还可为获授权的应用生成并运行测试样例。
适合要在上线前验证提示词、检索问答或模型升级的 AI 开发团队。需有可测试的模型或应用入口。

社区版免费。第三方模型可能按用量收费,Enterprise 和企业本地部署按需报价。
还需要配置一个可调用的模型或应用,并写好输入与通过条件。模型凭据和费用取决于提供商。
官方支持命令行与 CI/CD。先选可复跑的关键样例,再按实际失败率设置门槛。
仅对自己控制或获得许可的环境运行,先用合成数据和隔离测试服务核对行为。
社区版免费。第三方模型可能按用量收费,Enterprise 和企业本地部署按需报价。
企业方案与企业本地部署按需报价。