Braintrust im Test: Eval-first Observability mit hartem Zähler

Braintrust ist eine gehostete Plattform, die eine LLM-Anwendung instrumentiert, ihre Traces aufbewahrt und gegen Datasets bewertet, auf eine Weise, die sich wiederholt. Der Schwerpunkt liegt auf der Evaluation: ein Eval()-Aufruf, der eine Aufgabe über ein Dataset laufen lässt, die Ausgaben bewertet und jeden Lauf als vergleichbares Experiment speichert. Die Position dieses Tests: Braintrust ist das stärkste eval-first-Produkt seiner Klasse und das am strengsten gemessene seiner Konkurrenz — die Technik ist exzellent, und die Abrechnung belohnt Teams, die genau wissen, wie viele Daten sie senden wollen.

Er deckt drei Aufgaben ab, die sonst zwischen Werkzeugen aufgeteilt sind: Tracing in Produktion, Offline-Evaluation und das Gate dazwischen in der Continuous Integration. Arize Phoenix und Langfuse konkurrieren auf der Open-Source-Seite, LangSmith für Shops, die bereits auf LangGraph bauen. Er ersetzt meist etwas Schlimmeres: einen Satz Testfälle, der das Modell aufruft, Scores nach stdout schreibt und in der Woche gelöscht wird, in der er anfängt zu flackern.

Was es ist

Braintrust ist ein SaaS-Produkt von Braintrust Data, aufgebaut um drei Objekte: Logs, also Traces aus der Anwendung; Datasets, also Zeilen mit Eingabe und erwarteter Ausgabe; und Experimente, die eine Aufgabe über ein Dataset mit angehängten Scorern ausführen. Die Dokumentation beschreibt einen fünfstufigen Workflow — instrumentieren, beobachten, annotieren, evaluieren, ausliefern — und liefert SDKs für Python, TypeScript, Go, Ruby, Java und C#. Die Plattform selbst ist proprietär; ein großer Teil des Werkzeugs darum nicht.

• Lizenz: Plattform proprietär; SDKs Apache-2.0, autoevals MIT, braintrust-proxy MIT
• Instrumentierung: braintrust.auto_instrument() packt die Provider-Clienten, die im Prozess schon laufen, dazu eine bt CLI für Setup über einen Coding-Agenten
• Evaluation: Eval() über ein Dataset mit autoevals-Scorern, eigenem Code oder LLM-as-a-Judge
• Tarife: Starter für 0 Dollar, Pro für 249 Dollar im Monat und Enterprise auf Anfrage, alle mit unbegrenzten Nutzern, Projekten, Datasets und Experimenten
• Abrechnung: verarbeitete Daten in Gigabyte, Scores in Tausend, Modell-Credits in Dollar
• Deployment: SaaS auf Starter und Pro, BYOC und Self-Hosting nur auf Enterprise
• Extras: Playgrounds, Environments und eigene Charts ab Pro, dazu Loop, ein eingebauter Agent, der Scorer, Testfälle und Prompt-Iterationen schreibt

Diese letzte Zeile ist das Signal. Braintrust setzt voraus, dass die Plattform das Problem von jemand anderem ist und die Evaluation das eigene, und Teams, die diese Prämisse annehmen, bekommen eine sehr kurze Schleife vom Produktionsfehler zur Datasets-Zeile zum getagten Release. Teams, die das ganze System im eigenen Konto brauchen, merken, dass der Preis dieser Schleife ein Enterprise-Vertrag ist und nicht die Stufe für 249 Dollar.

So funktioniert es

Die Instrumentierung passiert im Prozess: braintrust.auto_instrument() patcht den Provider-Client, den die Anwendung ohnehin benutzt, sodass Spans mit Token-Kosten ankommen und kein Sidecar nötig ist. Alles landet in einem Projekt, und Logs, Datasets und Experimente teilen dieses Projekt — deshalb lässt sich ein Produktions-Trace in einen Testfall überführen, ohne einen Export.

Das Besondere ist der Vergleich. Ein Experiment ist ein Dauerrecord, und ein zweiter Lauf unter neuem Experimentnamen wird in der Oberfläche gegen den ersten gediffed. Das eigene Quickstart der Dokumentation lebt davon: Der erste Lauf landet bei ExactMatch fast bei null, weil das Modell mit einem Satz antwortet, der Prompt wird auf den nackten Titel gezogen, und das zweite Experiment weist den Zugewinn als Score-Delta statt als Eindruck aus.

Erste Schritte

Zwei Schlüssel und eine Datei: BRAINTRUST_API_KEY für die Plattform, der Provider-Schlüssel für das Modell und eine Python-Datei mit Daten, Task und Scorer. Der Ausschnitt unten ist die dokumentierte Quickstart-Form, ohne Wiederholung:

# BRAINTRUST_API_KEY und OPENAI_API_KEY als Umgebungsvariablen setzen
# pip install braintrust openai autoevals
import braintrust
from braintrust import Eval
from autoevals import ExactMatch
from openai import OpenAI

braintrust.auto_instrument()  # protokolliert jeden Aufruf dieses Prozesses
client = OpenAI()

def task(input):
    r = client.responses.create(
        model="gpt-5-mini",
        input=[{"role": "system", "content": "Name the film."},
               {"role": "user", "content": input}],
    )
    return r.output_text

Eval(
    "movie-matcher",
    experiment_name="baseline-v1",
    data=[{"input": "A detective hunts a killer through the seven deadly sins.",
           "expected": "Se7en"}],
    task=task,
    scores=[ExactMatch],
)

Aufrufen mit bt eval movie_matcher.py, und das Terminal druckt einen Link zum Experiment; reines Python funktioniert auch, weil die CLI nur den Einstiegspunkt kapselt. Diese Datei ist es auch, die ein Pull Request ausführt: die eval-action-GitHub-Workflow führt sie gegen main aus und lässt den Build fehlschlagen, wenn ein Score zurückgeht.

Was es kostet

Drei Tarife und kein Zwischenschritt: Die Preisliste nennt Starter mit 0 Dollar, Pro mit 249 Dollar im Monat und Enterprise auf Anfrage, mit unbegrenzten Nutzern, Projekten, Datasets, Playgrounds und Experimenten in allen drei. Der Unterschied ist die Messeinheit:

Daneben laufen Modell-Credits: 10 Dollar pro Monat auf Starter und 100 Dollar auf Pro decken eingebaute Modelle und Plattformfunktionen wie Topics, danach gelten Token-Sätze. Der Sprung ist binär — ein Team, das 1 GB und 14 Tage überwächst, zahlt die vollen 249 Dollar, wobei die Dokumentation qualifizierten neuen Startup-Kunden sechs bis zwölf Monate Pro anbietet.

Was offen ist und was nicht

Diese Trennung verdient einen eigenen Abschnitt, denn der Satz Braintrust ist quelloffen ist ausgerechnet dort falsch, wo es zählt: Unterhalb von Enterprise kannst du die Plattform nicht selbst betreiben. Offen ist die Instrumentierung und das Bewertungswerkzeug darum herum.

• braintrust-sdk-python, -javascript, -go und -ruby: Apache-2.0
• autoevals: MIT, etwa tausend Sterne, die Scorer-Bibliothek, die das Quickstart importiert
• braintrust-proxy: MIT, ein Proxy vor dem Modellverkehr
• agentbehavior: Apache-2.0, ein offener Standard und ein Dataset für Agentenverhalten
• Die bt CLI und die Coding-Agenten-Plugins: Apache-2.0 oder MIT; die gehostete Webanwendung wird nicht veröffentlicht

Für ein Engineering-Team ist dieser Unterschied bis zur Beschaffung meist philosophisch, und dann ist er die ganze Diskussion. Er legt auch den Ausweg fest: Die SDKs lassen sich ohne Umbau der Anwendung auf ein anderes Backend zeigen, aber Datasets, Experimente und Dashboards liegen im Dienst von Braintrust, und ein geplanter Export nach S3 oder Google Cloud Storage ist eine Enterprise-Funktion.

Wo es hakt

Die erste Schwäche ist Rechnen. Zwischen 0 und 249 Dollar gibt es keine Stufe, die 1 GB und 14 Tage der Gratisstufe sind ein Demo-Budget für einen Produktions-Agenten, und das Scoring kommt obendrauf auf die Aufnahme, wer also einen Judge über jeden Produktions-Trace laufen lässt, erreicht das Score-Kontingent vor dem Datenvolumen. Die zweite ist das, was die unteren Tarife nicht tragen: SAML-Single-Sign-On, Audit-Logging, individuelle Retention, Export-Automatisierung, SOC-2-Attest und ein Business Associate Agreement sind Enterprise-Zeilen, Starter bleibt auf die Owner-Berechtigungsgruppe und einen Human-Review-Score pro Projekt begrenzt. Die dritte ist vertragliches Wandern: Die Dokumentation trägt noch einen Alttarif-Hinweis für Konten vor dem 16. März 2026, eine Evaluation unter den alten Bedingungen lohnt sich also erneut.

Ehrlich gelesen konkurrieren Braintrust und Phoenix nicht auf derselben Achse: Der eine ist für Teams kalkuliert, die einen Evaluationsprozess kaufen, der andere für Teams, die die Infrastruktur besitzen. Langfuse ist der nächste direkte Ersatz zu etwa einem Drittel des Einstiegspreises, und LangSmith ist die natürliche Wahl, wenn die Anwendung bereits auf LangGraph sitzt und eigene Trace-Formate wichtiger sind als die Scorer-Bibliothek.

SaaS ist in allen Tarifen verfügbar. BYOC und selbst gehostete Deployments, die Daten in der eigenen Cloud halten, erfordern Enterprise. — Braintrust-Dokumentation, Tarife und Limits

Fazit

Braintrust bezahlt seinen Preis, wenn Evaluation ein wiederkehrendes Engineering-Ritual ist und kein Einmalskript: Das Experimentmodell, die Scorer-Bibliothek und die CI-Aktion bilden eine Schleife, die aus Einzelteilen zusammengebaut mühsam ist. Er ist die falsche Wahl für ein Team, dessen Hauptbedarf Trace-Speicher hinter einem Dashboard ist, denn das ist eine Gewohnheit für 249 Dollar mit einer Datenrechnung obendrauf.

1. Wählen, wenn ein Pull Request an einer Eval-Regression scheitern soll und die Scorer-Bibliothek schon existieren soll.
2. Wählen, wenn mehrere Rollen — Engineers, Reviewer, eine Product-Managerin — dieselben Experimente und Dashboards brauchen; Sitzplätze sind in allen Tarifen unbegrenzt.
3. Wählen, wenn das Volumen planbar ist: 5 GB und 50.000 Scores im Monat sind eine bekannte Größe, und die Überlaufraten sind veröffentlicht.
4. Nicht wählen, wenn Traces im eigenen Konto bleiben müssen; BYOC und Self-Hosting brauchen einen Enterprise-Vertrag.
5. Nicht wählen, wenn die Last chattig und unbegrenzt ist: Messung bei der Aufnahme plus Gebühr pro Score macht einen lauten Agenten teuer, wie es Sitzplatz-Werkzeuge nicht tun.

Quellen

1. Braintrust-Preise: Tarife, Credits und Nutzungspreise
2. Braintrust-Dokumentation: Tarife und Limits
3. Braintrust-Dokumentation: Evaluation-Quickstart
4. Braintrust-Dokumentation: Erste Schritte
5. GitHub: Braintrust-Organisation, Repository-Liste
6. Arize-Phoenix-Dokumentation: Self-Hosting
7. Langfuse-Preise: Cloud-Tarife und abrechenbare Einheiten
8. LangChain-Preise: LangSmith-Tarife