[{"data":1,"prerenderedAt":623},["ShallowReactive",2],{"blog-braintrust-de":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":21,"sources":31,"cover":56,"og":57,"expertise":58,"locales":59,"lang":61,"title":63,"description":64,"coverAlt":65,"metaTitle":66,"takeaways":67,"faq":73,"toc":86,"blocks":111,"others":384},"braintrust","2026-07-07",10,"llmops",[9,10,11,12,13],"Evaluations","Observability","LLM-as-a-judge","CI gates","Tracing",[4,15,16,17,18,19,20],"braintrust pricing","braintrust eval","autoevals library","braintrust vs langfuse","llm evaluation platform","eval driven development",[22,25,28],{"name":23,"url":24},"Braintrust","https:\u002F\u002Fwww.braintrust.dev",{"name":26,"url":27},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",{"name":29,"url":30},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",[32,35,38,41,44,47,50,53],{"title":33,"url":34},"Braintrust pricing: plans, credits and usage rates","https:\u002F\u002Fwww.braintrust.dev\u002Fpricing",{"title":36,"url":37},"Braintrust documentation: plans and limits","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs\u002Fplans-and-limits",{"title":39,"url":40},"Braintrust documentation: evaluation quickstart","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs\u002Fevaluation-quickstart",{"title":42,"url":43},"Braintrust documentation: get started","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs",{"title":45,"url":46},"GitHub: Braintrust organisation repositories","https:\u002F\u002Fgithub.com\u002Forgs\u002Fbraintrustdata\u002Frepositories",{"title":48,"url":49},"Arize Phoenix documentation: self-hosting","https:\u002F\u002Farize.com\u002Fdocs\u002Fphoenix\u002Fself-hosting",{"title":51,"url":52},"Langfuse pricing: cloud plans and billable units","https:\u002F\u002Flangfuse.com\u002Fpricing",{"title":54,"url":55},"LangChain pricing: LangSmith plans","https:\u002F\u002Fwww.langchain.com\u002Fpricing","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fog.jpg","ai-engineer",[60,61,62],"en","de","hu","Braintrust im Test: Eval-first Observability mit hartem Zähler","Braintrust macht aus Produktions-Traces Datasets und gate-te Experimente. Was Starter und Pro wirklich enthalten, welches Teil quelloffen ist und wo Phoenix, Langfuse und LangSmith gewinnen.","Ein breiter Pfeil sammelt lose Quadrate zu einer Reihe, danach überquert ein Pfeil ein Tor.","Braintrust: Eval-first Observability · Balázs Csorba",[68,69,70,71,72],"Starter ist wirklich nutzbar, aber klein: 1 GB verarbeitete Daten, 10.000 Scores und 14 Tage Aufbewahrung, danach Pro für 249 Dollar im Monat mit 5 GB, 50.000 Scores und 30 Tagen.","Verarbeitete Daten werden bei der Aufnahme gezählt, Löschen reduziert die Rechnung also nicht, und Überlauf kostet 4 Dollar pro GB auf Starter und 3 Dollar pro GB auf Pro.","Die Plattform ist proprietär, das Werkzeug offen: SDKs für sechs Sprachen unter Apache-2.0, autoevals unter MIT und die bt CLI unter Apache-2.0.","BYOC und Self-Hosting brauchen Enterprise, und SAML-SSO, Audit-Logging, individuelle Retention und SOC-2-Atteste sind ebenfalls Enterprise-Zeilen.","Zwischen 0 und 249 Dollar gibt es keine Stufe, wodurch Braintrust für ein Einzel-Projekt günstig und für ein Team, das nur Dashboards wollte, teuer wird.",[74,77,80,83],{"q":75,"a":76},"Wie viel kostet Braintrust?","Starter kostet 0 Dollar mit 10 Dollar Modell-Credits, 1 GB verarbeiteten Daten, 10.000 Scores und 14 Tagen Aufbewahrung, dazu unbegrenzt Nutzer, Projekte, Datasets, Playgrounds und Experimente. Pro kostet 249 Dollar im Monat für 100 Dollar Credits, 5 GB, 50.000 Scores, 30 Tage Aufbewahrung, eigene Charts, Environments, RBAC und priorisierten Support. Enterprise hat einen individuellen Preis und ergänzt BYOC, Self-Hosting, SAML- oder OIDC-Single-Sign-On, Audit-Logging, ein BAA und ein Verfügarkeits-SLA.",{"q":78,"a":79},"Ist Braintrust quelloffen?","Die Plattform nicht, ein großer Teil des Werkzeugs schon. Die SDKs für Python, TypeScript, Go, Ruby, Java und C# laufen unter Apache-2.0, autoevals unter MIT mit etwa tausend GitHub-Sternen, braintrust-proxy unter MIT und der agentbehavior-Standard unter Apache-2.0. Eine selbst gehostete Variante des Dienstes gibt es unterhalb des Enterprise-Tarifs nicht.",{"q":81,"a":82},"Was zählt in der Preisliste als Score?","Ein Score ist ein einzelnes aufgezeichnetes Evaluationsergebnis, ob es aus einem LLM-as-a-Judge-Aufruf, einem autoevals-Scorer oder eigenem Code stammt, gehängt an einen Trace oder eine Experimentzeile. Starter enthält 10.000 pro Monat und verlangt dann 2,50 Dollar pro Tausend, Pro enthält 50.000 und dann 1,50 Dollar pro Tausend. Judge-basiertes Scoring wächst über ein Dataset schnell, deshalb ist das Score-Kontingent oft vor dem Datenvolumen erschöpft.",{"q":84,"a":85},"Braintrust oder Arize Phoenix?","Braintrust, wenn Evaluation in CI gehört und eine Plattformgebühr akzeptabel ist: Eval-API, Scorer-Bibliothek und eval-action sind eine Integration. Phoenix, wenn Traces die eigene Infrastruktur nicht verlassen dürfen, denn BYOC und Self-Hosting bei Braintrust brauchen einen Enterprise-Vertrag, während Phoenix unter der Elastic License 2.0 frei self-hostbar ist.",[87,90,93,96,99,102,105,108],{"id":88,"title":89},"what-it-is","Was es ist",{"id":91,"title":92},"how-it-works","So funktioniert es",{"id":94,"title":95},"getting-started","Erste Schritte",{"id":97,"title":98},"pricing","Was es kostet",{"id":100,"title":101},"open-or-closed","Was offen ist und was nicht",{"id":103,"title":104},"where-it-shingles","Wo es hakt",{"id":106,"title":107},"verdict","Fazit",{"id":109,"title":110},"sources","Quellen",[112,121,124,127,130,148,151,152,159,165,168,169,176,178,185,192,193,196,241,244,250,251,254,266,269,270,273,319,322,327,328,331,343,348,349],{"type":113,"content":114},"paragraph",[115,116,120],"Braintrust ist eine gehostete Plattform, die eine LLM-Anwendung instrumentiert, ihre Traces aufbewahrt und gegen Datasets bewertet, auf eine Weise, die sich wiederholt. Der Schwerpunkt liegt auf der Evaluation: ein ",{"tag":117,"children":118},"code",[119],"Eval()","-Aufruf, der eine Aufgabe über ein Dataset laufen lässt, die Ausgaben bewertet und jeden Lauf als vergleichbares Experiment speichert. Die Position dieses Tests: Braintrust ist das stärkste eval-first-Produkt seiner Klasse und das am strengsten gemessene seiner Konkurrenz — die Technik ist exzellent, und die Abrechnung belohnt Teams, die genau wissen, wie viele Daten sie senden wollen.",{"type":113,"content":122},[123],"Er deckt drei Aufgaben ab, die sonst zwischen Werkzeugen aufgeteilt sind: Tracing in Produktion, Offline-Evaluation und das Gate dazwischen in der Continuous Integration. Arize Phoenix und Langfuse konkurrieren auf der Open-Source-Seite, LangSmith für Shops, die bereits auf LangGraph bauen. Er ersetzt meist etwas Schlimmeres: einen Satz Testfälle, der das Modell aufruft, Scores nach stdout schreibt und in der Woche gelöscht wird, in der er anfängt zu flackern.",{"type":125,"level":126,"id":88,"text":89},"heading",2,{"type":113,"content":128},[129],"Braintrust ist ein SaaS-Produkt von Braintrust Data, aufgebaut um drei Objekte: Logs, also Traces aus der Anwendung; Datasets, also Zeilen mit Eingabe und erwarteter Ausgabe; und Experimente, die eine Aufgabe über ein Dataset mit angehängten Scorern ausführen. Die Dokumentation beschreibt einen fünfstufigen Workflow — instrumentieren, beobachten, annotieren, evaluieren, ausliefern — und liefert SDKs für Python, TypeScript, Go, Ruby, Java und C#. Die Plattform selbst ist proprietär; ein großer Teil des Werkzeugs darum nicht.",{"type":131,"ordered":132,"items":133},"list",false,[134,136,138,140,142,144,146],[135],"Lizenz: Plattform proprietär; SDKs Apache-2.0, autoevals MIT, braintrust-proxy MIT",[137],"Instrumentierung: braintrust.auto_instrument() packt die Provider-Clienten, die im Prozess schon laufen, dazu eine bt CLI für Setup über einen Coding-Agenten",[139],"Evaluation: Eval() über ein Dataset mit autoevals-Scorern, eigenem Code oder LLM-as-a-Judge",[141],"Tarife: Starter für 0 Dollar, Pro für 249 Dollar im Monat und Enterprise auf Anfrage, alle mit unbegrenzten Nutzern, Projekten, Datasets und Experimenten",[143],"Abrechnung: verarbeitete Daten in Gigabyte, Scores in Tausend, Modell-Credits in Dollar",[145],"Deployment: SaaS auf Starter und Pro, BYOC und Self-Hosting nur auf Enterprise",[147],"Extras: Playgrounds, Environments und eigene Charts ab Pro, dazu Loop, ein eingebauter Agent, der Scorer, Testfälle und Prompt-Iterationen schreibt",{"type":113,"content":149},[150],"Diese letzte Zeile ist das Signal. Braintrust setzt voraus, dass die Plattform das Problem von jemand anderem ist und die Evaluation das eigene, und Teams, die diese Prämisse annehmen, bekommen eine sehr kurze Schleife vom Produktionsfehler zur Datasets-Zeile zum getagten Release. Teams, die das ganze System im eigenen Konto brauchen, merken, dass der Preis dieser Schleife ein Enterprise-Vertrag ist und nicht die Stufe für 249 Dollar.",{"type":125,"level":126,"id":91,"text":92},{"type":113,"content":153},[154,155,158],"Die Instrumentierung passiert im Prozess: ",{"tag":117,"children":156},[157],"braintrust.auto_instrument()"," patcht den Provider-Client, den die Anwendung ohnehin benutzt, sodass Spans mit Token-Kosten ankommen und kein Sidecar nötig ist. Alles landet in einem Projekt, und Logs, Datasets und Experimente teilen dieses Projekt — deshalb lässt sich ein Produktions-Trace in einen Testfall überführen, ohne einen Export.",{"type":160,"src":161,"alt":162,"wide":163,"caption":164},"image","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fdiagram-8.webp","Die Braintrust-Schleife vom Trace bis zum getagten Release Eine instrumentierte Anwendung schreibt Traces und ihre Kosten in ein Projekt. Produktions-Traces werden zu Zeilen eines Datasets, ein Experiment läuft eine Aufgabe über dieses Dataset mit angehängten Scorern, und der Vergleich zweier Läufe sperrt den Pull Request, bevor die Änderung zurück in die Anwendung geht.",true,"Traces, Datasets und Experimente teilen ein Projekt, deshalb wird aus einem Produktionsfehler ein Testfall, ohne Export.",{"type":113,"content":166},[167],"Das Besondere ist der Vergleich. Ein Experiment ist ein Dauerrecord, und ein zweiter Lauf unter neuem Experimentnamen wird in der Oberfläche gegen den ersten gediffed. Das eigene Quickstart der Dokumentation lebt davon: Der erste Lauf landet bei ExactMatch fast bei null, weil das Modell mit einem Satz antwortet, der Prompt wird auf den nackten Titel gezogen, und das zweite Experiment weist den Zugewinn als Score-Delta statt als Eindruck aus.",{"type":125,"level":126,"id":94,"text":95},{"type":113,"content":170},[171,172,175],"Zwei Schlüssel und eine Datei: ",{"tag":117,"children":173},[174],"BRAINTRUST_API_KEY"," für die Plattform, der Provider-Schlüssel für das Modell und eine Python-Datei mit Daten, Task und Scorer. Der Ausschnitt unten ist die dokumentierte Quickstart-Form, ohne Wiederholung:",{"type":117,"code":177},"# BRAINTRUST_API_KEY und OPENAI_API_KEY als Umgebungsvariablen setzen\n# pip install braintrust openai autoevals\nimport braintrust\nfrom braintrust import Eval\nfrom autoevals import ExactMatch\nfrom openai import OpenAI\n\nbraintrust.auto_instrument()  # protokolliert jeden Aufruf dieses Prozesses\nclient = OpenAI()\n\ndef task(input):\n    r = client.responses.create(\n        model=\"gpt-5-mini\",\n        input=[{\"role\": \"system\", \"content\": \"Name the film.\"},\n               {\"role\": \"user\", \"content\": input}],\n    )\n    return r.output_text\n\nEval(\n    \"movie-matcher\",\n    experiment_name=\"baseline-v1\",\n    data=[{\"input\": \"A detective hunts a killer through the seven deadly sins.\",\n           \"expected\": \"Se7en\"}],\n    task=task,\n    scores=[ExactMatch],\n)",{"type":113,"content":179},[180,181,184],"Aufrufen mit ",{"tag":117,"children":182},[183],"bt eval movie_matcher.py",", und das Terminal druckt einen Link zum Experiment; reines Python funktioniert auch, weil die CLI nur den Einstiegspunkt kapselt. Diese Datei ist es auch, die ein Pull Request ausführt: die eval-action-GitHub-Workflow führt sie gegen main aus und lässt den Build fehlschlagen, wenn ein Score zurückgeht.",{"type":186,"variant":187,"title":188,"body":189},"callout","warn","Bewerten wird abgerechnet, nicht nur gerechnet",[190],[191],"Jeder Scorer-Aufruf, der einen Score speichert, zählt gegen das Monatskontingent — 10.000 auf Starter, 50.000 auf Pro —, und judge-basiertes Scoring ist enthalten, mit einer Modellanfrage pro Zeile. Scorer sollten genau die Fehler adressieren, die zählen, denn ein vollständiger Lauf über ein großes Dataset kann mehr kosten als der Trace, der ihn erzeugt hat.",{"type":125,"level":126,"id":97,"text":98},{"type":113,"content":194},[195],"Drei Tarife und kein Zwischenschritt: Die Preisliste nennt Starter mit 0 Dollar, Pro mit 249 Dollar im Monat und Enterprise auf Anfrage, mit unbegrenzten Nutzern, Projekten, Datasets, Playgrounds und Experimenten in allen drei. Der Unterschied ist die Messeinheit:",{"type":197,"head":198,"rows":209},"table",[199,201,203,205,207],[200],"Tarif",[202],"Preis",[204],"Verarbeitete Daten",[206],"Scores",[208],"Aufbewahrung",[210,221,232],[211,213,215,217,219],[212],"Starter",[214],"0 Dollar",[216],"1 GB, dann 4 Dollar pro GB",[218],"10.000, dann 2,50 Dollar pro 1.000",[220],"14 Tage",[222,224,226,228,230],[223],"Pro",[225],"249 Dollar pro Monat",[227],"5 GB, dann 3 Dollar pro GB",[229],"50.000, dann 1,50 Dollar pro 1.000",[231],"30 Tage, dann 0,50 Dollar pro GB-Monat",[233,235,237,238,239],[234],"Enterprise",[236],"Individuell",[236],[236],[240],"Individuell, bis 365 Tage",{"type":113,"content":242},[243],"Daneben laufen Modell-Credits: 10 Dollar pro Monat auf Starter und 100 Dollar auf Pro decken eingebaute Modelle und Plattformfunktionen wie Topics, danach gelten Token-Sätze. Der Sprung ist binär — ein Team, das 1 GB und 14 Tage überwächst, zahlt die vollen 249 Dollar, wobei die Dokumentation qualifizierten neuen Startup-Kunden sechs bis zwölf Monate Pro anbietet.",{"type":186,"variant":245,"title":246,"body":247},"note","Verarbeitete Daten zählen bei der Aufnahme",[248],[249],"Die Tarifseite sagt klar: Verarbeitete Daten messen Bytes bei der Aufnahme, und Löschen reduziert sie nicht — das Zusammenschrumpfen lauter Traces verkleinert also nie rückwirkend eine Rechnung. Experimentergebnisse werden auf allen Tarifen bis zu 365 Tage aufbewahrt, Logs und Playground-Daten folgen dem 14- oder 30-Tage-Fenster, und das ist zugleich der Horizont, den die unteren Tarife überhaupt abfragen können.",{"type":125,"level":126,"id":100,"text":101},{"type":113,"content":252},[253],"Diese Trennung verdient einen eigenen Abschnitt, denn der Satz Braintrust ist quelloffen ist ausgerechnet dort falsch, wo es zählt: Unterhalb von Enterprise kannst du die Plattform nicht selbst betreiben. Offen ist die Instrumentierung und das Bewertungswerkzeug darum herum.",{"type":131,"ordered":132,"items":255},[256,258,260,262,264],[257],"braintrust-sdk-python, -javascript, -go und -ruby: Apache-2.0",[259],"autoevals: MIT, etwa tausend Sterne, die Scorer-Bibliothek, die das Quickstart importiert",[261],"braintrust-proxy: MIT, ein Proxy vor dem Modellverkehr",[263],"agentbehavior: Apache-2.0, ein offener Standard und ein Dataset für Agentenverhalten",[265],"Die bt CLI und die Coding-Agenten-Plugins: Apache-2.0 oder MIT; die gehostete Webanwendung wird nicht veröffentlicht",{"type":113,"content":267},[268],"Für ein Engineering-Team ist dieser Unterschied bis zur Beschaffung meist philosophisch, und dann ist er die ganze Diskussion. Er legt auch den Ausweg fest: Die SDKs lassen sich ohne Umbau der Anwendung auf ein anderes Backend zeigen, aber Datasets, Experimente und Dashboards liegen im Dienst von Braintrust, und ein geplanter Export nach S3 oder Google Cloud Storage ist eine Enterprise-Funktion.",{"type":125,"level":126,"id":103,"text":104},{"type":113,"content":271},[272],"Die erste Schwäche ist Rechnen. Zwischen 0 und 249 Dollar gibt es keine Stufe, die 1 GB und 14 Tage der Gratisstufe sind ein Demo-Budget für einen Produktions-Agenten, und das Scoring kommt obendrauf auf die Aufnahme, wer also einen Judge über jeden Produktions-Trace laufen lässt, erreicht das Score-Kontingent vor dem Datenvolumen. Die zweite ist das, was die unteren Tarife nicht tragen: SAML-Single-Sign-On, Audit-Logging, individuelle Retention, Export-Automatisierung, SOC-2-Attest und ein Business Associate Agreement sind Enterprise-Zeilen, Starter bleibt auf die Owner-Berechtigungsgruppe und einen Human-Review-Score pro Projekt begrenzt. Die dritte ist vertragliches Wandern: Die Dokumentation trägt noch einen Alttarif-Hinweis für Konten vor dem 16. März 2026, eine Evaluation unter den alten Bedingungen lohnt sich also erneut.",{"type":197,"head":274,"rows":283},[275,277,279,281],[276],"Werkzeug",[278],"Gratisstufe",[280],"Erste bezahlte Stufe",[282],"Selbst hosten",[284,292,301,310],[285,286,288,290],[23],[287],"1 GB, 10.000 Scores, 14 Tage",[289],"Pro 249 Dollar pro Monat",[291],"Nur Enterprise",[293,295,297,299],[294],"Arize Phoenix",[296],"Keine Limits bei lokaler Installation",[298],"AX Pro 50 Dollar pro Monat",[300],"Gratis unter ELv2",[302,304,306,308],[303],"Langfuse",[305],"50.000 Einheiten, 30 Tage, 2 Nutzer",[307],"Core 29 Dollar pro Monat",[309],"Gratis, Docker Compose",[311,313,315,317],[312],"LangSmith",[314],"1 Sitzplatz, 5.000 Basis-Traces",[316],"Plus 39 Dollar pro Sitzplatz",[318],"Enterprise-Add-on",{"type":113,"content":320},[321],"Ehrlich gelesen konkurrieren Braintrust und Phoenix nicht auf derselben Achse: Der eine ist für Teams kalkuliert, die einen Evaluationsprozess kaufen, der andere für Teams, die die Infrastruktur besitzen. Langfuse ist der nächste direkte Ersatz zu etwa einem Drittel des Einstiegspreises, und LangSmith ist die natürliche Wahl, wenn die Anwendung bereits auf LangGraph sitzt und eigene Trace-Formate wichtiger sind als die Scorer-Bibliothek.",{"type":323,"content":324},"quote",[325,326],"SaaS ist in allen Tarifen verfügbar. BYOC und selbst gehostete Deployments, die Daten in der eigenen Cloud halten, erfordern Enterprise."," — Braintrust-Dokumentation, Tarife und Limits",{"type":125,"level":126,"id":106,"text":107},{"type":113,"content":329},[330],"Braintrust bezahlt seinen Preis, wenn Evaluation ein wiederkehrendes Engineering-Ritual ist und kein Einmalskript: Das Experimentmodell, die Scorer-Bibliothek und die CI-Aktion bilden eine Schleife, die aus Einzelteilen zusammengebaut mühsam ist. Er ist die falsche Wahl für ein Team, dessen Hauptbedarf Trace-Speicher hinter einem Dashboard ist, denn das ist eine Gewohnheit für 249 Dollar mit einer Datenrechnung obendrauf.",{"type":131,"ordered":163,"items":332},[333,335,337,339,341],[334],"Wählen, wenn ein Pull Request an einer Eval-Regression scheitern soll und die Scorer-Bibliothek schon existieren soll.",[336],"Wählen, wenn mehrere Rollen — Engineers, Reviewer, eine Product-Managerin — dieselben Experimente und Dashboards brauchen; Sitzplätze sind in allen Tarifen unbegrenzt.",[338],"Wählen, wenn das Volumen planbar ist: 5 GB und 50.000 Scores im Monat sind eine bekannte Größe, und die Überlaufraten sind veröffentlicht.",[340],"Nicht wählen, wenn Traces im eigenen Konto bleiben müssen; BYOC und Self-Hosting brauchen einen Enterprise-Vertrag.",[342],"Nicht wählen, wenn die Last chattig und unbegrenzt ist: Messung bei der Aufnahme plus Gebühr pro Score macht einen lauten Agenten teuer, wie es Sitzplatz-Werkzeuge nicht tun.",{"type":186,"variant":245,"title":344,"body":345},"Fazit in einem Satz",[346],[347],"Für den Preis der halbtägigen Aufmerksamkeit eines Engineers im Monat liefert Braintrust die Evaluationsdisziplin, die die meisten Teams vorhaben und nie fertig werden. Kaufe es für die Evaluationsschleife, nicht für das Trace-Speichern; für Speichern allein macht selbst gehostetes Phoenix oder ein Langfuse-Tarif für 29 Dollar denselben Job zu einem Bruchteil der Kosten.",{"type":125,"level":126,"id":109,"text":110},{"type":131,"ordered":163,"items":350},[351,356,360,364,368,372,376,380],[352],{"tag":353,"href":34,"children":354},"a",[355],"Braintrust-Preise: Tarife, Credits und Nutzungspreise",[357],{"tag":353,"href":37,"children":358},[359],"Braintrust-Dokumentation: Tarife und Limits",[361],{"tag":353,"href":40,"children":362},[363],"Braintrust-Dokumentation: Evaluation-Quickstart",[365],{"tag":353,"href":43,"children":366},[367],"Braintrust-Dokumentation: Erste Schritte",[369],{"tag":353,"href":46,"children":370},[371],"GitHub: Braintrust-Organisation, Repository-Liste",[373],{"tag":353,"href":49,"children":374},[375],"Arize-Phoenix-Dokumentation: Self-Hosting",[377],{"tag":353,"href":52,"children":378},[379],"Langfuse-Preise: Cloud-Tarife und abrechenbare Einheiten",[381],{"tag":353,"href":55,"children":382},[383],"LangChain-Preise: LangSmith-Tarife",[385,442,509,567],{"slug":386,"published":387,"minutes":388,"category":7,"tags":389,"keywords":395,"about":409,"sources":417,"cover":436,"og":437,"expertise":58,"locales":438,"lang":61,"title":439,"description":440,"coverAlt":441},"deepseek-v4-1-flash-1017","2026-10-17",15,[390,391,392,393,394],"DeepSeek","Open-weight models","KV cache","Mixture of experts","LLM cost",[396,397,398,399,400,401,402,403,404,405,406,407,408],"DeepSeek V4.1 Flash 1017","DeepSeek V4.1 Flash","Causal Encoder-Decoder","Compressed Sparse Attention 2","CSA2","FP4 KV cache","KV cache compression","SWA Bounded Replay","Engram conditional memory","DSpark speculative decoding","DeepSeek pricing","DeepSWE benchmark","open-weight coding model",[410,412,414],{"name":390,"url":411},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FDeepSeek",{"name":393,"url":413},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMixture_of_experts",{"name":415,"url":416},"Transformer (deep learning architecture)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTransformer_(deep_learning_architecture)",[418,421,424,427,430,433],{"title":419,"url":420},"DeepSeek-AI: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (arXiv:2609.19969)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.19969",{"title":422,"url":423},"Hugging Face: deepseek-ai\u002FDeepSeek-V4.1-Flash-1017 model card","https:\u002F\u002Fhuggingface.co\u002Fdeepseek-ai\u002FDeepSeek-V4.1-Flash-1017",{"title":425,"url":426},"OpenRouter: DeepSeek V4.1 Flash 1017, pricing and providers","https:\u002F\u002Fopenrouter.ai\u002Fdeepseek\u002Fdeepseek-v4.1-flash-1017",{"title":428,"url":429},"The Decoder: Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks while once again massively cutting per-task costs","https:\u002F\u002Fthe-decoder.com\u002Fdeepseek-v4-1-flash-1017-beats-larger-rivals-in-agentic-tasks-while-once-again-massively-cutting-per-task-costs\u002F",{"title":431,"url":432},"AI Weekly: DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API","https:\u002F\u002Faiweekly.co\u002Falerts\u002Fdeepseek-opens-v41-flash-1017-weights-and-075-search-api",{"title":434,"url":435},"DeepSeek on X: DeepSeek-V4.1-Flash-1017 announcement","https:\u002F\u002Fx.com\u002Fdeepseek_ai\u002Fstatus\u002F2111375640717033777","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fog.jpg",[60,61,62],"DeepSeek V4.1 Flash 1017: 890 Byte KV-Cache pro Token, und was ein Agent davon hat","Technischer Deep Dive zu DeepSeek V4.1 Flash 1017: Encoder-Decoder-Aufteilung, CSA2-Cache-Sharing, FP4-KV-Cache, Benchmarks und die echten Kosten pro Agenten-Task.","Links ein hoher Stapel dünner Karten, ein Pfeil, rechts dieselben Karten auf ein Viertel der Höhe zusammengepresst.",{"slug":443,"published":387,"minutes":6,"category":7,"tags":444,"keywords":450,"about":462,"sources":472,"cover":503,"og":504,"expertise":58,"locales":505,"lang":61,"title":506,"description":507,"coverAlt":508},"llm-rate-limits-retries-provider-fallback",[445,446,447,448,449],"Rate limits","Retries","Fallback","Reliability","LLM gateway",[451,452,453,454,455,456,457,458,459,460,461],"llm rate limit handling","429 too many requests llm api","exponential backoff with jitter","anthropic 529 overloaded error","openai rate limit retry","llm provider fallback","litellm fallbacks","retry-after header","llm circuit breaker","multi provider llm failover","claude api rate limits",[463,466,469],{"name":464,"url":465},"Token bucket","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FToken_bucket",{"name":467,"url":468},"Exponential backoff","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FExponential_backoff",{"name":470,"url":471},"Circuit breaker design pattern","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCircuit_breaker_design_pattern",[473,476,479,482,485,488,491,494,497,500],{"title":474,"url":475},"Claude Platform Docs: Rate limits","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Frate-limits",{"title":477,"url":478},"Claude Platform Docs: API errors","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Ferrors",{"title":480,"url":481},"OpenAI API Docs: Rate limits","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Frate-limits",{"title":483,"url":484},"AWS Builders Library: Timeouts, retries and backoff with jitter","https:\u002F\u002Fbuilder.aws.com\u002Fcontent\u002F3EumjoZascWd1oZiEgL8ORlv3qE\u002Ftimeouts-retries-and-backoff-with-jitter",{"title":486,"url":487},"MDN: Retry-After header","https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FRetry-After",{"title":489,"url":490},"Martin Fowler: Circuit Breaker (2014)","https:\u002F\u002Fmartinfowler.com\u002Fbliki\u002FCircuitBreaker.html",{"title":492,"url":493},"LiteLLM Docs: Router, retries and cooldowns","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":495,"url":496},"LiteLLM Docs: Proxy fallbacks and reliability","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Freliability",{"title":498,"url":499},"OpenRouter Docs: Model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":501,"url":502},"AI SDK Docs: Settings (maxRetries, timeout)","https:\u002F\u002Fai-sdk.dev\u002Fdocs\u002Fai-sdk-core\u002Fsettings","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fog.jpg",[60,61,62],"LLM-Rate-Limits in Produktion: Retries, Backoff und Provider-Fallback","Wie LLM-Rate-Limits funktionieren, welche Fehler man wiederholt, Backoff mit Jitter, Retries in nur einer Schicht und Fallback-Ketten ohne kaputte Ausgaben.","Kleine Quadrate steigen drei Stufen zu einem breiten Rechteck, dahinter zwei weitere in einer Reihe.",{"slug":510,"published":387,"minutes":511,"category":7,"tags":512,"keywords":517,"about":528,"sources":536,"cover":561,"og":562,"expertise":58,"locales":563,"lang":61,"title":564,"description":565,"coverAlt":566},"prompt-versioning-management",8,[513,514,515,516,303],"Prompt management","Versioning","LLMOps","Evals",[518,519,520,521,522,523,524,525,526,527],"prompt versioning","prompt management","prompt registry","version control for prompts","langfuse prompt management","mlflow prompt registry","prompts in git","openai prompt object deprecation","prompt rollback production","prompt ci evaluation",[529,532,535],{"name":530,"url":531},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":533,"url":534},"Version control","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FVersion_control",{"name":26,"url":27},[537,540,543,546,549,552,555,558],{"title":538,"url":539},"OpenAI API Docs: Migrate from prompt objects","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\u002Fmigrate-from-prompt-object",{"title":541,"url":542},"OpenAI API Docs: Prompt engineering (reusable prompts deprecation note)","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompt-engineering",{"title":544,"url":545},"Langfuse Docs: Prompt version control","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fprompt-version-control",{"title":547,"url":548},"Langfuse Docs: Prompt caching in the SDKs","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fcaching",{"title":550,"url":551},"Langfuse Docs: Link prompts to traces","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Flink-to-traces",{"title":553,"url":554},"MLflow Docs: Prompt Registry","https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002F",{"title":556,"url":557},"Promptfoo Docs: GitHub Action","https:\u002F\u002Fwww.promptfoo.dev\u002Fdocs\u002Fintegrations\u002Fgithub-action\u002F",{"title":559,"url":560},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fog.jpg",[60,61,62],"Prompt-Versionierung in Produktion: Git, Registries, Labels und Rollbacks","Prompts in Produktion versionieren: was zu einer Version gehört, Git oder Prompt-Registry, Labels und Rollbacks, Eval-Gates in CI und Folgen für Caches.","Fünf aufrechte Karten in einer Reihe, die dritte schwenkt an einem Bogenpfeil zurück, ein Tor vor der letzten.",{"slug":568,"published":387,"minutes":569,"category":7,"tags":570,"keywords":575,"about":586,"sources":596,"cover":617,"og":618,"expertise":58,"locales":619,"lang":61,"title":620,"description":621,"coverAlt":622},"llm-batch-api-offline-workloads",9,[571,572,515,573,574],"Batch API","Cost","Prompt caching","Data pipelines",[576,577,578,579,580,581,582,583,584,585],"llm batch api","anthropic message batches api","openai batch api","gemini batch mode","batch inference llm cost","batch api 50 percent discount","openai flex processing","bedrock batch inference","llm offline processing","batch api prompt caching",[587,590,593],{"name":588,"url":589},"Batch processing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBatch_processing",{"name":591,"url":592},"JSON Lines","https:\u002F\u002Fjsonlines.org\u002F",{"name":594,"url":595},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[597,600,602,603,606,609,611,614],{"title":598,"url":599},"Claude Platform Docs: Batch processing","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fbatch-processing",{"title":601,"url":475},"Claude Platform Docs: Rate limits (Message Batches API)",{"title":559,"url":560},{"title":604,"url":605},"OpenAI API Docs: Batch API","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fbatch",{"title":607,"url":608},"OpenAI API Docs: Flex processing","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fflex-processing",{"title":610,"url":481},"OpenAI API Docs: Rate limits (batch queue limits)",{"title":612,"url":613},"Google AI for Developers: Gemini Batch API","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fbatch-api",{"title":615,"url":616},"Amazon Bedrock User Guide: Batch inference","https:\u002F\u002Fdocs.aws.amazon.com\u002Fbedrock\u002Flatest\u002Fuserguide\u002Fbatch-inference.html","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fog.jpg",[60,61,62],"LLM-Batch-APIs: Inferenz zum halben Preis für Arbeit, die warten kann","Wann sich die Batch-APIs von Anthropic, OpenAI und Gemini lohnen, wie Limits, Zuordnung und Fehler funktionieren und wie sich Rabatte mit Caching addieren.","Eine breite Kiste mit acht kleinen Quadraten, Zulauf von links, ein langer Pfeil kehrt zurück.",1792261157954]