O narzędziu
Promptfoo to open-source (10.8K GitHub stars) narzędzie CLI do testowania i red teamingu promptów. Oferuje 50+ typów testów podatności (prompt injection, PII, jailbreak), YAML config w repo (version control), GitHub Actions CI/CD integration i multi-model comparison. UWAGA: OpenAI przejął Promptfoo 9 marca 2026 za $86M — przyszłość vendor-neutralności niepewna.
💰
Cennik
- •Community: DARMOWY (open-source, unlimited, 10K red-team probes/mies.).
- •Enterprise: custom.
- •UWAGA: OpenAI przejął Promptfoo 9 marca 2026 za $86M.
🔗
API
- •CLI API.
- •YAML config.
- •JavaScript/TypeScript custom providers.
- •GitHub Actions integration.
- •Webhooks.
✨
Funkcje dodatkowe
- •CLI prompt evaluation
- •Red teaming (50+ vulnerability types: prompt injection
- •PII exposure
- •jailbreak
- •toxicity)
- •YAML config (repo-stored)
- •Multi-model comparison
- •Regression testing
- •GitHub Actions CI/CD
- •Custom evaluators (JS/TS)
- •Batch testing
- •Model-agnostic
- •Local execution (dane nie opuszczają maszyny).
✓ Zalety
+Open-source (10.8K GitHub stars)
+Red teaming: 50+ typów podatności (prompt injection, PII, jailbreak)
+CLI-first = szybki start
+YAML config w repo (version control)
+GitHub Actions CI/CD integration
+Local execution — dane nie opuszczają maszyny
✗ Wady
−Przejęcie przez OpenAI (III 2026) — neutralność pod znakiem zapytania
−CLI-only — brak UI dashboardów
−Brak collaboration features
−Brak production monitoring
Szczegóły
CenaDarmowy (open-source)
KategoriaPrompt Engineering
Open-sourceRed teamingCLICI/CDYAMLSecurity