O narzędziu
Langfuse — open-source LLM engineering platform (MIT). Cloud: Hobby Free 50K units/mies. (30-day retention, 2 seats). Core $29/mies. (100K units, unlimited users). Pro $199/mies. (compliance certifications, 3-year retention). Enterprise od $2,499/mies. (dedicated support, custom volume). Wszystkie tier'y: $6-8/100K units overage. Self-hosted: MIT, $0 license cost (wymaga Postgres + ClickHouse + Redis + S3).
Zastosowanie
- •Open-source self-hosted LLM observability.
- •Production monitoring multi-LLM apps.
- •Prompt management i A/B testing.
- •LLM-as-Judge evaluations z datasets.
- •User feedback collection w aplikacjach LLM.
Funkcje główne
- •LLM tracing i observability.
- •Prompt management i versioning.
- •Evaluations (LLM-as-Judge, custom evaluators).
- •Datasets i experiments.
- •Sessions (multi-turn conversations).
- •User feedback collection.
- •Cost tracking per request.
Funkcje dodatkowe
▶LLM Tracing i Observability
Pelne sledzenie wywolan LLM z metadata, costs i performance metrics. Wieloplaformowa observability dla LangChain, LlamaIndex, OpenAI, Anthropic, LiteLLM i Vercel AI SDK z jednego dashboardu.
▶Prompt Management i Versioning
Centralne zarzadzanie promptami z version control — deployujesz nowe wersje promptow bez deployowania kodu. A/B testing wersji w produkcji i automatic rollback przy degradacji metryk.
▶Evaluations (LLM-as-Judge, custom)
Automatyczne ocenianie odpowiedzi przez LLM-as-Judge (Claude/GPT oceniajacy wyniki innego modelu) i custom evaluators. Skaluje sie do tysiecy traces bez konieczno ranego manualnego scoringu.
▶Datasets i Experiments
Zbiory danych do testow z wersjonowaniem i experiments do porownan modeli. Idealne do regression testing — sprawdzasz, czy nowa wersja modelu nie psuje istniejacych przypadkow uzycia.
▶Sessions (multi-turn conversations)
Grupowanie powiazanych traces w sesje — pelna konwersacja z chatbotem lub agentem widoczna jako jeden timeline. Krytyczne dla aplikacji konwersacyjnych z wieloturowymi dialogami.
▶User Feedback Collection
Zbieranie feedback od uzytkownikow koncowych (thumbs up/down, ratings) z linkami do odpowiednich traces. Pozwala identyfikowac problematyczne wzorce promptow i workflow w produkcji.
▶Cost Tracking per Request
Sledzenie kosztow tokenow per request, user, project. Automatyczne kalkulacje dla wszystkich major providers (OpenAI, Anthropic, Google) z aktualnymi pricing tablicami.
▶OpenTelemetry Support
Natywne wsparcie OpenTelemetry — standardowy protokol observability w branzy. Pozwala integrowac Langfuse z istniejacym stack'iem monitoring (Datadog, New Relic, Grafana) bez recznej instrumentacji.
▶Self-hosted (MIT, $0 license)
Open-source pod licencja MIT — mozesz uruchomic Langfuse na wlasnej infrastrukturze bez oplat licencyjnych. Wymaga: Postgres, ClickHouse, Redis, S3 i app servers.
▶Native Integrations
Out-of-the-box integracje: LangChain, LlamaIndex, OpenAI, Anthropic, LiteLLM, Vercel AI SDK. Wystarczy dodac jeden import w kodzie, by automatycznie sledzic wszystkie wywolania LLM.
✓ Zalety
Cennik
- •Cloud Hobby: FREE (50,000 units/mies., 30-day retention, 2 seats, hard cap).
- •Core: $29/mies.
- •(100,000 units, unlimited users).
- •Pro: $199/mies.
- •(compliance certifications, 3-year retention).
- •Enterprise: od $2,499/mies.
- •(dedicated support, custom volume pricing).
- •Overage: $6-8/100K units (graduated).
- •Self-hosted: MIT $0 (operational costs Twoje).
API i integracje
- •Python/JS/Go SDKs.
- •REST API.
- •Native integration: LangChain, LlamaIndex, OpenAI, Anthropic, LiteLLM, Vercel AI SDK.
- •OpenTelemetry support.
Self-hosted
- •MIT-licensed, $0 license.
- •Wymaga: Postgres (metadata), ClickHouse cluster (traces + analytics), Redis cache, object store (S3) dla large payloads, application servers.
- •Commercial features: SCIM, audit logs, data retention policies, enterprise SLAs.