Der Code steht unter Apache 2.0, und die Preisseite führt die Open-Source-Variante mit unbegrenzten Spans und unbegrenzter Aufbewahrung. Opik Cloud hat einen Free-Tarif mit 25.000 Spans im Monat und 60 Tagen Aufbewahrung, Pro kostet 19 Dollar im Monat für 100.000 Spans. Forschende, Studierende und Lehrende können den vollen Pro-Tarif kostenlos nutzen.

Wo wird Opik Cloud gehostet?

In den USA. Die Datenschutzerklärung von Comet ML, Inc. sagt, dass die Dienste in den Vereinigten Staaten gehostet werden, und stützt Übermittlungen aus dem EWR und dem Vereinigten Königreich auf Standardvertragsklauseln. Die Preisseite nennt die USA als Datenregion für Free und Pro und „individuell“ für Enterprise. Eine EU-Region habe ich nicht gefunden.

Kann ich OpenTelemetry-Traces an Opik senden?

Ja. Sende OTLP-Traces an https://www.comet.com/opik/api/v1/private/otel in der Cloud oder an http://localhost:5173/api/v1/private/otel bei einer lokalen Instanz. Jede Anfrage trägt den API-Schlüssel im Header Authorization, das Projekt im Header projectName und den Workspace im Header Comet-Workspace.

Fang bei der Lizenz an. Das Opik-Repository steht durchgehend unter Apache 2.0, und laut README des Langfuse-Repositorys ist der Kern MIT-lizenziert, die Ordner ee/ sind ausgenommen. Vergleiche dann die Funktionen, die du brauchst, und prüfe Datenregion und Guardrail-Gate auf den Seiten beider Anbieter, bevor du entscheidest.

Opik im Test: Open-Source-Tracing und Evals

Opik ist die Open-Source-Plattform von Comet für Tracing, Evaluation und Optimierung von LLM-Anwendungen und Agenten. Das Urteil vorweg: Nimm sie, wenn du Traces, LLM-as-a-Judge-Metriken, Prompt-Versionen und einen Optimierer in einem Apache-2.0-Produkt willst und dein Team die Datenbanken betreiben kann. Lass die Finger davon, wenn du eine EU-gehostete Cloud brauchst oder auf Guardrails setzt, ohne mit dem Vertrieb zu sprechen.

Opik konkurriert mit Langfuse, Arize Phoenix und LangSmith, und die Lizenz ist das Erste, was du prüfen solltest. Das Opik-Repository steht unter Apache 2.0, und die LICENSE-Datei kennt keine Ausnahme für Enterprise-Verzeichnisse. Der Kern von Langfuse ist MIT-lizenziert, die Ordner ee/ sind ausgenommen, und Arize Phoenix steht unter der Elastic License 2.0. Der Rest dieses Tests zeigt, was du bekommst, was Selbsthosting verlangt und wohin die Daten gehen.

Was es ist

Opik verbindet Tracing, Evaluation und Bewertung im Produktivbetrieb, dazu kommen Prompt-Verwaltung und ein Optimierer. Die Produktseite nennt es „AI Observability & Evals For the Agentic Era“, und das README auf GitHub sagt, dass die gesamte Plattform kostenlos selbst gehostet werden kann.

Apache 2.0 für das gesamte Repository. Die LICENSE-Datei ist der Standardtext der Apache License 2.0 mit dem Copyright von Comet ML, Inc.
Tracing per Decorator. Python installiert man mit pip install opik, und der Decorator @opik.track zeichnet einen Funktionsaufruf auf. Das TypeScript-SDK importiert aus opik.
OpenTelemetry. Jede Sprache mit einem OpenTelemetry-SDK kann Traces senden, was Comet als First-Party-Unterstützung beschreibt.
Evaluation. Datensätze, Experimente, heuristische Prüfungen wie Equals, RegexMatch und IsJson, mehr als 20 LLM-as-a-Judge-Metriken und eine PyTest-Integration für die CI.
Produktion und Sicherheit. Online-Evaluation-Regeln bewerten Live-Traces, und Guardrails prüfen Ein- und Ausgaben. Die Guardrails sind eine Enterprise-Funktion, dazu weiter unten mehr.

So funktioniert es

Die SDKs bündeln Telemetrie und schicken sie per REST an ein Java-Backend, das die API, die Authentifizierung und die Datenbankmigrationen übernimmt. Ein eigenes Python-Backend führt Evaluatoren, sandboxed Code und Optimierungsjobs aus – der Code läuft also in der Cloud auf der Infrastruktur von Comet und bei Selbsthosting auf deiner. Traces und Spans landen in ClickHouse, Projekte, Datensätze und Prompts in MySQL, Anhänge in MinIO. Redis übernimmt Caching, Rate-Limiting und Queues, ZooKeeper die Cluster-Koordination, und Nginx liefert das React-Frontend aus und leitet die API weiter.

Traces landen in ClickHouse, Metadaten in MySQL und Anhänge in MinIO, während ein eigener Python-Dienst die Judges und den Optimierer ausführt.

Erste Schritte

Installiere das SDK, setze deinen Schlüssel und den Workspace und versieh die Funktionen, die du tracen willst, mit dem Decorator. Zeigt OPIK_URL_OVERRIDE auf eine lokale Instanz, läuft derselbe Code dagegen.

# pip install opik
# Opik Cloud: set your API key and workspace from the Opik dashboard
# export OPIK_API_KEY="<your-api-key>"
# export OPIK_WORKSPACE="<your-workspace>"
# Self-hosted: point the SDK at your own instance instead
# export OPIK_URL_OVERRIDE="http://localhost:5173/api"

import opik

opik.configure()


@opik.track(name="answer-question")
def answer(question: str) -> str:
    # your model call goes here
    return f"Answer to: {question}"


answer("What does the Apache 2.0 licence allow?")

Wenn du schon OpenTelemetry betreibst, lass das SDK weg und schicke OTLP-Traces an Opik. Der Cloud-Endpunkt ist https://www.comet.com/opik/api/v1/private/otel, eine lokale Instanz nutzt http://localhost:5173/api/v1/private/otel. Jede Anfrage trägt den API-Schlüssel im Header Authorization, das Projekt im Header projectName und den Workspace im Header Comet-Workspace. Die Seite sagt nicht, welche GenAI-Semantikkonventionen Opik abbildet, prüfe also vorher die Attribute, auf die du dich verlassen willst. Für Frameworks listet die Python-Doku Integrationen für LangChain, LangGraph, LlamaIndex, OpenAI, Anthropic und AWS Bedrock.

Evaluation und Judges

Bei der Evaluation ist Opik am stärksten. Die Metrikseite teilt die Bibliothek in zwei Gruppen. Die heuristischen Prüfungen brauchen kein Modell und umfassen Equals, Contains, RegexMatch, IsJson, Levenshtein, ROUGE und BERTScore. Die LLM-as-a-Judge-Gruppe hat mehr als 20 Metriken, darunter Hallucination, Answer Relevance, Context Precision, Moderation, Structured Output Compliance und G-Eval, das deine eigenen Anweisungen nutzt.

Zwei Punkte sind wichtig, bevor du einem Judge-Score vertraust. Die Metrikseite sagt, dass die Python-Judge-Metriken auf dem Framework LiteLLM aufbauen, über das auch das Judge-Modell konfiguriert wird. Jeder Judge-Aufruf schickt den Trace-Text an dieses Modell, der Judge-Anbieter gehört also auf deine Liste der Auftragsverarbeiter. Die Seite sagt nicht, ob die Bewertung im SDK oder auf der Plattform läuft. Frag Comet deshalb, bevor du Judges auf sensible Produktions-Traces ansetzt.

Die Online-Evaluation wendet dieselben Judges auf die Produktion an. Eine Regel bewertet einen festgelegten Prozentsatz der Produktions-Traces, bei 100 Prozent alle. Die Scores werden als Feedback-Scores am jeweiligen Trace gespeichert, und ein Durchschnitt, der eine Schwelle überschreitet, kann Slack, PagerDuty oder einen Webhook alarmieren. Jeder bewertete Trace kostet mindestens einen Modellaufruf, die Sample-Rate ist also auch eine Kosteneinstellung, und ich würde niedrig anfangen. Die Doku, die ich öffnen konnte, sagt nicht, welche Tarife die Online-Evaluation enthalten.

Prompts, Optimierer und Guardrails

Die Prompt Library hält jeden Prompt, auf den ein Agent angewiesen ist, an einem Ort. Jede Änderung erzeugt eine neue, unveränderliche Version, nummeriert als v1, v2, v3 und so weiter. Das SDK holt einen Prompt mit get_prompt oder get_chat_prompt aus einer getrackten Funktion, und ohne Versionsangabe kommt die neueste Version. Labels, Umgebungen oder einen Rollback-Befehl habe ich in der Doku nicht gefunden. Ein Freigabeprozess müsste also auf diesen Versionsnummern aufbauen.

Der Optimierer braucht die meiste Sorgfalt. Das Opik Agent Optimizer SDK bietet sechs Algorithmen. MetaPrompt lässt ein Reasoning-Modell den Prompt kritisieren und umschreiben. HRPO bündelt Fehler und schlägt gezielte Korrekturen vor. Few-Shot Bayesian nutzt Optuna, um Anzahl und Reihenfolge der Beispiele zu wählen. Evolutionary sucht einen Ausgleich zwischen Score und Prompt-Länge. GEPA läuft über einen Wrapper auf Opik-Datensätzen und -Metriken. Parameter lässt den Prompt unangetastet und optimiert Sampling-Parameter per Bayes-Suche. Jeder Lauf ruft ein Modell viele Male auf, setze also vor dem Start ein Budget und einen Holdout-Datensatz.

Guardrails laufen inline und synchron, bevor eine Antwort zurückgegeben wird. Die Guard-Typen sind PII-Erkennung, erlaubte und eingeschränkte Themen, Erkennung von Prompt-Injection und Jailbreaks, eine LLM-as-a-Judge-Prüfung in einfacher Sprache und ein eigener Klassifikator. Guards fasst du zu benannten Policies zusammen, und die Anwendung ruft ein Guardrail über seinen Namen auf. Die Themen- und PII-Prüfungen unterstützen nur Englisch.

Was es kostet und wo es läuft

Die Open-Source-Variante ist kostenlos selbst hostbar, und die Preisseite führt sie mit unbegrenzten Spans und unbegrenzter Aufbewahrung. Bei den Cloud-Tarifen beginnt die Datenfrage. Hier sind die Tarife, so wie die Preisseite sie im Oktober 2026 zeigte.

Tarif	Preis	Enthalten	Was sich ändert
Open Source	$0	Unbegrenzte Spans	Unbegrenzte Aufbewahrung, selbst gehostet unter Apache 2.0
Free Cloud	$0	25.000 Spans im Monat	60 Tage Aufbewahrung, bis zu 10 Teammitglieder, Datenregion USA
Pro Cloud	$19 im Monat	100.000 Spans im Monat	60 Tage standardmäßig, bis zu 50 Teammitglieder, Datenregion USA
Enterprise	Individuell	Unbegrenzte Spans	Individuelle Aufbewahrung und Region, unbegrenzte Teammitglieder, Compliance-Liste mit SOC 2, ISO 27001, HIPAA und DSGVO

Drei Hinweise zur Tabelle. Zusätzliche Spans kosten im Pro-Tarif 5 Dollar pro 100.000, und eine Verlängerung der Aufbewahrung von 60 auf 400 Tage kostet 29 Dollar pro 100.000 Spans. Dieselbe Seite sagt, jeder Tarif enthalte unbegrenzte Teammitglieder, was den Platz-Limits auf den Tarifkarten widerspricht. Lass dir die Anzahl der Plätze vor dem Kauf schriftlich geben. Forschende, Studierende und Lehrende können laut FAQ den vollen Pro-Tarif kostenlos nutzen.

Für das Selbsthosting gibt es zwei Wege. Die lokale Anleitung klont das Repository, startet ./opik.sh und öffnet http://localhost:5173. Die Doku nennt das „perfekt zum Starten, aber nicht produktionsreif“, und die Option --clean entfernt alle Datenvolumes. Für den Produktivbetrieb verweist die Doku auf das Kubernetes-Helm-Chart. Es bündelt ClickHouse und ZooKeeper standardmäßig, kann ab Chart-Version 1.4.2 ein externes ClickHouse nutzen und konfiguriert S3 über S3_BUCKET und S3_REGION, wobei die Seite S3 nicht als enthalten beschreibt. Die Kubernetes-Seite sagt nicht, wie MySQL und Redis bereitgestellt werden. Kläre das vor der Dimensionierung des Clusters.

helm repo add opik https://comet-ml.github.io/opik/
helm upgrade --install opik -n opik --create-namespace opik/opik

Hier steht, was die Dokumente zu Daten sagen. Die Datenschutzerklärung von Comet ML, Inc. sagt, dass Opik Cloud in den Vereinigten Staaten gehostet wird und dass Übermittlungen aus dem EWR und dem Vereinigten Königreich in die USA auf Standardvertragsklauseln beruhen. Die Preisseite nennt die USA als Datenregion für Free und Pro und „individuell“ für Enterprise. Weder die Datenschutzerklärung noch das Trust Center nennt einen AVV oder eine Liste der Unterauftragsverarbeiter, und eine EU-Region habe ich nicht gefunden. Im Self-Service-Cloud-Tarif beträgt die Aufbewahrung standardmäßig 60 Tage, das gehört in dein Verzeichnis der Verarbeitungstätigkeiten. Verlange also beides, bevor du personenbezogene Daten aus der EU schickst. Die größere Argumentation zu Regionssteuerung steht in DSGVO und Datenresidenz bei LLM-APIs.

Opik hat zwei Funktionen, die personenbezogene Daten berühren, und sie werden leicht verwechselt. Die serverseitige Datenanonymisierung maskiert E-Mail-Adressen, Telefonnummern und eigene Muster, wenn Menschen Traces ansehen. Sie ist in der Vorschau und nur im Enterprise-Tarif verfügbar und lässt die gespeicherten Daten unverändert. SDK-Anonymisierer arbeiten anders. Registriert über opik.hooks.add_anonymizer erkennen sie PII und ersetzen sie, bevor Daten protokolliert werden, in Cloud- und Selbsthosting-Installationen, und die Ersetzung ist nicht umkehrbar. Die Anonymisierer-Seite nennt Beispiele für E-Mail-Adressen, US-Telefonnummern, Sozialversicherungsnummern und Kreditkartennummern. Namen und Adressen brauchen eigene Regeln.

Wo es zu kurz greift

Keine EU-Cloud-Region, die ich finden konnte. Opik Cloud läuft bei Free und Pro in den USA, und Enterprise nennt eine individuelle Region. Für personenbezogene Daten aus der EU heißt das Selbsthosting oder ein Enterprise-Vertrag.
Guardrails und serverseitige Maskierung hängen am Vertrieb. Beides sind laut Doku Enterprise-Funktionen, und der Guardrails-Server betreibt eigene Modelle. Plane also Rechenleistung ebenso ein wie den Vertrag.
Der Selbsthosting-Stack ist schwer. Ein Produktivbetrieb umfasst ClickHouse, MySQL, Redis, MinIO, ZooKeeper und beide Backends. Die lokale Anleitung ist nicht für den Produktivbetrieb gedacht, plane also ein Plattformprojekt und kein Wochenende.
Lücken in der Dokumentation. Die Preisseite widerspricht sich bei den Plätzen, die Metrikseite sagt nicht, wo bewertet wird, die Prompt Library zeigt keine Labels oder Rollbacks, und die OpenTelemetry-Seite nennt die GenAI-Konventionen nicht, die sie abbildet.
Versionen ändern sich schnell. Das PyPI-Paket stand bei meiner Prüfung auf 2.2.96, und Chart und SDK sollten zusammenpassen, fixiere also beide.

Fazit

Opik ist eine starke Apache-2.0-Option für Tracing, Judges, Prompt-Versionen und Optimierung in einem Produkt. Die Lücken stehen nicht in der Funktionsliste. Sie liegen im Enterprise-Vorbehalt bei Guardrails, in der US-gehosteten Cloud und in den laufenden Kosten des Selbsthosting-Stacks. Nimm es für ein Plattformteam, das schon Kubernetes und ClickHouse betreibt und das ganze Repository unter Apache 2.0 braucht. Schau dich anderswo um, wenn die Entscheidung an EU-Hosting oder an einer einfacheren Installation hängt.

Nimm es, wenn ein Team Traces, Evaluation und Prompts verantwortet und du das ganze Repository unter Apache 2.0 willst.
Nimm es, wenn du ClickHouse, MySQL und MinIO mit derselben Sorgfalt betreiben kannst wie deine anderen Datenspeicher.
Lass es, wenn du EU-gehostete Cloud-Verarbeitung oder einen AVV brauchst, den du vor der Unterschrift lesen kannst, denn beides habe ich nicht gefunden.
Lass es, wenn Guardrails Pflicht sind und du keinen Enterprise-Vertrag eingehen kannst.

Nimm Langfuse, wenn du einen MIT-Kern mit der Ausnahme ee/ willst und eine Plattform, die du an deinen eigenen Traces vergleichen kannst. Nimm Arize Phoenix, wenn du ein selbst gehostetes Tool willst und die Elastic License 2.0 akzeptieren kannst, unter der es steht. Nimm LangSmith, wenn du ein gehostetes Produkt mit Cloud-Daten in den USA oder der EU willst und Preise pro Sitz akzeptierst, die auf Plus bei 39 Dollar pro Sitz und Monat beginnen, mit Selbsthosting nur im Enterprise-Tarif.

Opik im Test: Open-Source-Tracing und Evals mit US-gehosteter Cloud

Das Wichtigste in Kürze