O narzędziu
Promptfoo to darmowe narzędzie do testowania bezpieczeństwa i jakości promptów. Sprawdza ponad 50 typów zagrożeń, w tym próby manipulacji i wycieku danych. Pozwala porównywać wyniki różnych modeli AI i automatyzować testy. Przejęte przez OpenAI w marcu 2026.
📋
Zastosowanie
- •Testowanie promptów w CI/CD pipeline.
- •Red teaming modeli AI (wykrywanie prompt injection, PII leaks).
- •Porównywanie jakości odpowiedzi wielu modeli.
- •Regression testing po zmianach promptów.
- •Audyt bezpieczeństwa aplikacji LLM.
✨
Funkcje dodatkowe
- •CLI prompt evaluation
- •Red teaming (50+ vulnerability types: prompt injection, PII exposure, jailbreak, toxicity)
- •YAML config (repo-stored)
- •Multi-model comparison
- •Regression testing
- •GitHub Actions CI/CD
- •Custom evaluators (JS/TS)
- •Batch testing
- •Model-agnostic
- •Local execution (dane nie opuszczają maszyny).
✓ Zalety
+Open-source (10.8K GitHub stars)
+Red teaming: 50+ typów podatności (prompt injection, PII, jailbreak)
+CLI-first = szybki start
+YAML config w repo (version control)
+GitHub Actions CI/CD integration
+Local execution — dane nie opuszczają maszyny
✗ Wady
−Przejęcie przez OpenAI (III 2026) — neutralność pod znakiem zapytania
−CLI-only — brak UI dashboardów
−Brak collaboration features
−Brak production monitoring
💰
Cennik
- •Community: DARMOWY (open-source, unlimited, 10K red-team probes/mies.).
- •Enterprise: custom.
- •UWAGA: OpenAI przejął Promptfoo 9 marca 2026 za $86M.
🔗
API i integracje
- •CLI API.
- •YAML config.
- •JavaScript/TypeScript custom providers.
- •GitHub Actions integration.
- •Webhooks.
Szczegóły
CenaDarmowy (open-source)
KategoriaPrompt Engineering
Open-sourceRed teamingCLICI/CDYAMLSecurity