[{"data":1,"prerenderedAt":637},["ShallowReactive",2],{"blog-langsmith-de":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":31,"cover":53,"og":54,"expertise":55,"locales":56,"lang":58,"title":60,"description":61,"coverAlt":62,"metaTitle":63,"takeaways":64,"faq":70,"toc":86,"blocks":111,"others":397},"langsmith","2026-05-25",10,"llmops",[9,10,11,12,13],"Tracing","LLM evals","OpenTelemetry","Datasets","Retries",[4,15,16,17,18,19,20,21],"langsmith vs langfuse","llm observability tools","llm tracing cost","langsmith pricing","opentelemetry llm tracing","llm evaluation datasets","phoenix vs langsmith",[23,26,28],{"name":24,"url":25},"LangSmith","https:\u002F\u002Fwww.langchain.com\u002Flangsmith",{"name":11,"url":27},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":29,"url":30},"ClickHouse","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FClickHouse",[32,35,38,41,44,47,50],{"title":33,"url":34},"LangSmith pricing","https:\u002F\u002Fwww.langchain.com\u002Fpricing",{"title":36,"url":37},"LangSmith documentation: administration overview","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Fadministration-overview",{"title":39,"url":40},"LangSmith documentation: custom instrumentation","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Fannotate-code",{"title":42,"url":43},"LangSmith documentation: trace with OpenTelemetry","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Ftrace-with-opentelemetry",{"title":45,"url":46},"LangSmith documentation: evaluation concepts","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Fevaluation-concepts",{"title":48,"url":49},"LangSmith documentation: self-hosted deployment","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Fself-hosted",{"title":51,"url":52},"LangChain: introducing end-to-end OpenTelemetry support in LangSmith","https:\u002F\u002Fwww.langchain.com\u002Fblog\u002Fend-to-end-opentelemetry-langsmith","\u002Fimages\u002Fblog\u002Flangsmith\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flangsmith\u002Fog.jpg","ai-engineer",[57,58,59],"en","de","hu","LangSmith: aus einem Observability-Produkt wurde eine Agent-Plattform","LangSmith im Test: Abrechnung pro Trace, 14 und 180 Tage Retention, OpenTelemetry-Ingestion, Offline- und Online-Evals, und wo die Plattform in Richtung Agent-Runtime kippt.","Vier Blätter, nach oben hin breiter gestapelt, unten speist eine Verzweigung ein.","LangSmith Test: Tracing, Evals und die Rechnung · Balázs Csorba",[65,66,67,68,69],"Die abrechenbare Einheit ist der Trace, nicht der Span und nicht der Token. Developer enthält 5.000 Base-Traces pro Monat für einen Seat, Plus kostet 39 US-Dollar pro Seat mit 10.000 enthalten, und der Developer-Plan ohne Zahlungsmittel ist auf 5.000 Traces pro Monat gedeckelt.","Base-Traces werden 14 Tage, Extended-Traces 180 Tage aufbewahrt, und Online-Evaluators, Automatisierungsregeln sowie API-Feedback mit extend_trace_retention heben Traces auf die teurere Stufe, sofern man nicht opt out.","Die Ingest-Grenzen sind stündlich und planabhängig: 50.000 Events und 500 MB pro Stunde auf Developer ohne Zahlungsdaten, 250.000 Events und 2,5 GB damit, auf Plus 500.000 Events und 5 GB.","Der Rest der Plattform wird in LangChain Standard Units zu je 1,00 US-Dollar abgerechnet, Engine, Fleet, Sandboxes und das LLM Gateway eingeschlossen, ein Seat-Preis sagt also wenig über die Rechnung aus.","Die OpenTelemetry-Anbindung funktioniert über das SDK oder einen OTLP-Endpunkt, aber ein Span, dessen Elternteil nie ankommt, wird gepuffert und danach stillschweigend verworfen, und das ist der Fehlerfall bei einem partiellen Fan-out.",[71,74,77,80,83],{"q":72,"a":73},"Was kostet LangSmith für ein kleines Team?","Der Developer-Plan ist kostenlos für einen Seat und enthält 5.000 Base-Traces pro Monat, ohne Zahlungsmittel ist er zugleich auf 5.000 Traces pro Monat gedeckelt. Plus kostet 39 US-Dollar pro Seat und Monat mit 10.000 enthaltenen Base-Traces und unbegrenzt vielen weiteren Seats. Enterprise wird angeboten und ist die einzige Stufe mit Rollen-basierten Zugriffsrechten pro Workspace und mit Selbstbetrieb.",{"q":75,"a":76},"Brauche ich LangChain für LangSmith?","Nein. Das langsmith SDK hat einen traceable-Dekorator für Python, TypeScript, Kotlin und Java, dazu eine RunTree-API auf niedriger Ebene und einen REST-Ingest-Pfad, damit lässt sich beliebiger Code instrumentieren. LangChain und LangGraph bekommen die Instrumentierung nur gratis dazu. LangSmith nimmt außerdem OpenTelemetry-Spans an, was die Doku für Anwendungen empfiehlt, die bereits OTLP senden.",{"q":78,"a":79},"Was passiert mit meinen Traces nach zwei Wochen?","Base-Retention sind 14 Tage, danach sind Traces in UI und API nicht mehr erreichbar und die zugehörigen Ein- und Ausgaben werden innerhalb eines Tages gelöscht, some Trace-Metadaten bleiben für Analytik und Abrechnung. Extended-Retention sind 180 Tage und teurer, seit 14. September 2026 sind diese 180 Tage das Maximum für SaaS-Kunden.",{"q":81,"a":82},"Kann LangSmith in meiner eigenen Infrastruktur laufen?","Ja, aber nur als Enterprise-Add-on mit Lizenzschlüssel. Eine selbst gehostete Instanz betreibt Frontend, Backend, Plattform-Backend, Playground, Queue und einen Codeausführungsdienst auf ClickHouse für Traces, PostgreSQL für Betriebsdaten und Redis oder Valkey für Queues, optional mit Blob Storage. LangChain empfiehlt für den Produktivbetrieb externe Datenbankdienste statt der mitgelieferten.",{"q":84,"a":85},"Trainiert LangSmith mit meinen Daten?","Nein. Die Preisfaq sagt ausdrücklich, LangSmith nutze die Daten nicht zum Trainieren von Modellen, Traces, Prompts und Ausgaben bleiben innerhalb der eigenen Organisation. Das ist eine vertragliche und keine technische Zusage, wer die Daten in der eigenen Perimeter braucht, nimmt den Selbstbetrieb.",[87,90,93,96,99,102,105,108],{"id":88,"title":89},"what-it-is","Was es ist",{"id":91,"title":92},"how-it-works","Wie es funktioniert",{"id":94,"title":95},"getting-started","Erste Schritte",{"id":97,"title":98},"what-it-costs","Was es kostet",{"id":100,"title":101},"instrumentation-choices","Natives Tracing oder OpenTelemetry",{"id":103,"title":104},"where-it-shingles","Wo es knirscht",{"id":106,"title":107},"verdict","Fazit",{"id":109,"title":110},"sources","Quellen",[112,116,119,122,125,141,142,145,151,154,155,162,165,176,182,193,194,197,251,254,257,266,267,276,278,281,290,291,294,340,343,344,347,359,365,366],{"type":113,"content":114},"paragraph",[115],"LangSmith ist eine gehostete Tracing- und Evaluierungsplattform für LLM-Anwendungen: jeder Aufruf, den ein Agent tätigt, wird zu einem Baum von Runs mit Ein- und Ausgaben, Latenz und Tokenzahlen, den man durchsuchen, bewerten und vergleichen kann. Das Urteil nach der Lektüre der Dokumentation: es ist das leistungsfähigste Werkzeug dieser Art und gleichzeitig das teuerste im Verständnis, denn es ist nicht mehr nur ein Observability-Produkt.",{"type":113,"content":117},[118],"Es konkurriert mit Langfuse, Arize Phoenix und Helicone um das Observability-Budget und zunehmend mit der eigenen Runtime, denn derselbe Anbieter verkauft auf derselben Preisseite Deployment, Studio, Engine, Fleet, Sandboxes und ein LLM Gateway. Diese Ausweitung ist das wichtigste Abwägungspunkt, weil jeder zusätzliche Dienst separat abgerechnet wird.",{"type":120,"level":121,"id":88,"text":89},"heading",2,{"type":113,"content":123},[124],"Die Plattform hat vier Teile, die sich eine Rechnung teilen: Tracing, Evaluierung, Prompt-Verwaltung und eine Agent-Runtime. Das Ressourcenmodell ist wichtiger als der Funktionsumfang. Eine Organisation hält Workspaces, Workspaces halten Tracing-Projekte, Datensätze, Annotation Queues und Prompts, und jeder Trace liegt in genau einem Projekt. Die Kernfakten:",{"type":126,"ordered":127,"items":128},"list",false,[129,131,133,135,137,139],[130],"Ein Trace ist eine Ausführung aus verschachtelten Runs; ein Run wird angelegt und dann aktualisiert, während die Arbeit vorankommt, deshalb sind Event- und Trace-Limit verschiedene Zahlen.",[132],"Tracing läuft über die Dekoratoren des langsmith SDK, über eine REST-Ingest-API oder über OpenTelemetry-Spans jeder instrumentierten Anwendung.",[134],"Offline-Evals laufen gegen Datensätze aus Beispielen mit Referenzausgaben, Online-Evals bewerten Live-Traces ohne Referenz.",[136],"Evaluatoren können Code, LLM-as-judge, ein typisiertes Entscheidungsmodell, paarweise Bewertung oder Mensch sein, und ein Evaluator kann an mehrere Projekte gehängt werden.",[138],"Annotation Queues, Dataset-Versionen und Splits, eine Prompt-Registry mit Commit-Tags und ein Playground sind alle enthalten.",[140],"Selbstbetrieb gibt es, aber nur als Enterprise-Add-on hinter einem Lizenzschlüssel.",{"type":120,"level":121,"id":91,"text":92},{"type":113,"content":143},[144],"Die Instrumentierung läuft im eigenen Prozess und sendet Runs über HTTPS an LangSmith. Das SDK arbeitet in einem Hintergrundthread und fasst bis zu 100 Runs einer Session in einem API-Aufruf zusammen, damit Tracing nicht im Request-Pfad hängt. Eine serverseitige Queue übernimmt Ingestion, Retries und Integritätsprüfungen, bevor in den Trace-Speicher geschrieben wird.",{"type":146,"src":147,"alt":148,"wide":149,"caption":150},"image","\u002Fimages\u002Fblog\u002Flangsmith\u002Fdiagram-7.webp","Der Weg eines LangSmith-Traces Instrumentierter Anwendungscode erzeugt Runs. Das SDK sendet sie gebündelt aus einem Hintergrundthread, denn ein Rate-Limit stoppt die ersten 5000 Posts an das Runs-Endpoint pro Minute. Eine Ingest-Queue wiederholt und speichert die Runs in ClickHouse. Dashboards, Monitore und die Query-API lesen aus diesem Speicher.",true,"Weil die Queue asynchron arbeitet, kann ein mit 200 angenommener Trace trotzdem ausfallen, und ein kurzlebiges Prozessende kann vor dem Absenden seiner Runs liegen.",{"type":113,"content":152},[153],"Diese Queue erklärt, warum die Ingest-Grenzen als festes Fenster und nicht als glatter Durchschnitt formuliert sind und warum ein 429 ein normales Ereignis mit Backoff ist und kein Ausfall. Der Load Balancer setzt auf jedem Plan feste Grenzen pro Minute: 5000 POST- oder PATCH-Anfragen an die Runs-Endpunkte, 5000 an Feedbacks, 2000 für alle anderen Endpunkte und 30 Löschungen. Das SDK bündelt, und genau das hält eine ausgelastete Anwendung unter diesen Werten.",{"type":120,"level":121,"id":94,"text":95},{"type":113,"content":156},[157,158,159,160,161],"Zwei Umgebungsvariablen schalten Tracing ohne Codeänderung ein, was für die lokale Entwicklung zählt: ","LANGSMITH_TRACING"," steuert Dekorator und Context Manager, ","LANGSMITH_PROJECT"," benennt das Zielprojekt und ist standardmäßig default. Das minimale Python-Setup verfolgt eine Pipeline als verschachtelte Runs:",{"type":163,"code":164},"code","import asyncio\n\nfrom langsmith import Client, traceable\nfrom openai import AsyncOpenAI\n\nclient = Client()\nllm = AsyncOpenAI()\n\n\n@traceable(run_type=\"retriever\", name=\"retrieve_docs\")\nasync def retrieve_docs(question: str) -> list[str]:\n    return [\"Annual report: revenue up 12 percent.\"]\n\n\n@traceable(run_type=\"llm\", name=\"answer\")\nasync def answer(question: str, context: list[str]) -> str:\n    reply = await llm.chat.completions.create(\n        model=\"gpt-5.4-mini\",\n        messages=[{\"role\": \"user\", \"content\": f\"{question}\\n{chr(10).join(context)}\"}],\n    )\n    return reply.choices[0].message.content\n\n\n@traceable(name=\"support_agent\")\nasync def support_agent(question: str) -> str:\n    return await answer(question, await retrieve_docs(question))\n\n\nasync def main() -> None:\n    try:\n        print(await support_agent(\"How did revenue move?\"))\n    finally:\n        await client.flush()  # background thread must finish before exit\n\n\nasyncio.run(main())\n",{"type":113,"content":166},[167,168,169,170,171,172,173,174,175],"Der Dekorator propagiert den Kontext, die drei Funktionen erscheinen also ohne manuelles Verdrahten als Baum, und ","run_type"," entscheidet, wie das Dashboard einen Knoten darstellt: ","llm"," liefert Tokenzahlen und Latenz, ","retriever"," und ","tool"," kennzeichnen die übrigen Schritte. Derselbe Client fährt Offline-Evaluierungen gegen einen Datensatz, und dort fängt der eigentliche Wert an, sich zu verzinsen.",{"type":113,"content":177},[178,179,180,181],"Dieselbe API betreibt die Eval-Schleife. ","evaluate"," nimmt eine Zielfunktion, einen Datensatz und eine Liste von Evaluatoren, erzeugt ein Experiment mit einem Run pro Beispiel und lässt sich aus CI steuern:"," Jede eingecheckte Prompt-Änderung gegen die getaggte Dataset-Version evaluieren und den Build fehlschlagen lassen, wenn die Groundedness um mehr als einen Punkt fällt. LangSmith versioniert Datensätze automatisch, wenn sich Beispiele ändern, ein Tag pinnt einen CI-Lauf also auf einen Datenstand. Die Dokumentation ist deutlich: fünf bis zehn kuratierte Beispiele für gute Ausgaben schreiben, bevor irgendein Evaluator entsteht.",{"type":183,"variant":184,"title":185,"body":186},"callout","warn","Der Trace-Baum liegt nicht in Ihrem Prozess",[187],[188,189,192],"Tracing läuft in einem Hintergrundthread, damit ein langsames oder nicht erreichbares LangSmith den Request-Pfad nicht blockiert, das ist der richtige Trade. Die Folge ist, dass ein Prozess enden kann, bevor seine Runs abgeschickt sind. Das SDK bietet dafür ",{"tag":163,"children":190},[191],"flush"," an, und die Dokumentation weist ausdrücklich auf kurzlebige Jobs und Serverless-Handler hin. Wer es überspringt, bekommt den häufigsten Grund für eine leere Trace-Liste in Tests oder Batch-Jobs.",{"type":120,"level":121,"id":97,"text":98},{"type":113,"content":195},[196],"Seats sind der sichtbare Preis, Traces sind die metrierte Größe. Der Developer-Plan ist für einen Seat kostenlos und enthält 5.000 Base-Traces pro Monat; Plus kostet 39 US-Dollar pro Seat und Monat mit 10.000 enthalten und unbegrenzt vielen weiteren Seats; Enterprise wird angeboten und ergänzt Selbst- und Hybrid-Betrieb, eigenes SSO sowie attribut- und rollenbasierte Zugriffskontrolle.",{"type":198,"head":199,"rows":210},"table",[200,202,204,206,208],[201],"Plan",[203],"Seats",[205],"Enthaltene Traces",[207],"Ingest-Grenze pro Stunde",[209],"Retention",[211,222,231,242],[212,214,216,218,220],[213],"Developer ohne Zahlungsdaten",[215],"1",[217],"5.000 pro Monat, plus Monatsdeckel von 5.000",[219],"50.000 Events und 500 MB",[221],"14 Tage, per Upgrade verlängert",[223,225,226,228,230],[224],"Developer mit Zahlungsdaten",[215],[227],"5.000 pro Monat",[229],"250.000 Events und 2,5 GB",[221],[232,234,236,238,240],[233],"Plus",[235],"Unbegrenzt, je 39 US-Dollar",[237],"10.000 pro Monat",[239],"500.000 Events und 5 GB",[241],"14 oder 180 Tage",[243,245,247,248,249],[244],"Enterprise",[246],"Individuell",[246],[246],[250],"Bis 180 Tage, konfigurierbar",{"type":113,"content":252},[253],"Ein Event ist das Anlegen oder das Aktualisieren eines Runs, ein in derselben Stunde angelegter und dann gepatchter Run zählt also zweimal gegen das Stundenlimit, und ein 2 MB großer Run, der später auf 3 MB aktualisiert wird, zählt 5 MB gegen das Volumenlimit. Das ist der Mechanismus, den man in der Kapazitätsplanung modellieren muss: die Form des Traces, nicht die Zahl der Requests, treibt die Grenze.",{"type":113,"content":255},[256],"Der Rest der Plattform wird in LangChain Standard Units abgerechnet, eine LSU kostet 1,00 US-Dollar. Die Engine läuft alle sechs Stunden, ein einzelner Lauf wird je nach Tracevolumen und Issue-Zahl auf 7 bis 45 LSU geschätzt. Fleet enthält 7 LSU auf Developer und 37 LSU auf Plus, Sandboxes 8 LSU, ein Perceived-Error-Evaluator-Lauf 0,015 LSU. Ein Seat für 39 US-Dollar sagt also wenig über die Rechnung aus, sobald die Runtime genutzt wird.",{"type":183,"variant":184,"title":258,"body":259},"Retention-Upgrades passieren still, und es gibt einen Haken",[260],[261,262,265],"Base-Traces leben 14 Tage, Extended 180. Online-Evaluators, Automatisierungsregeln, die auf einen Run im Trace matchen, sowie Feedback über die API mit explizitem ",{"tag":163,"children":263},[264],"extend_trace_retention"," heben einen Trace auf die teurere Stufe, sofern man nicht opt out; seit 14. September 2026 sind die 180 Tage für SaaS die Obergrenze. Hässlicher ist das Limit für Extended-Traces: ist es erreicht, werden Regelabgleich, API-Feedback und Annotation Queues vollständig abgeschaltet, weil jede dieser Funktionen einen weiteren Extended-Trace erzeugen könnte.",{"type":120,"level":121,"id":100,"text":101},{"type":113,"content":268},[269,270,271,272,273,274,275],"LangSmith nimmt OpenTelemetry-Spans auf zwei Wegen an. Mit der SDK-Integration sorgt ","LANGSMITH_OTEL_ENABLED=true"," dafür, dass LangChain und LangGraph Spans über den LangSmith-Exporter senden, und ","LANGSMITH_OTEL_ONLY=true"," unterbindet zusätzlich das eigene Format. Bei jeder anderen Anwendung zeigt man einen Standard-OTLP-Exporter auf den Basis-Endpunkt ","https:\u002F\u002Fapi.smith.langchain.com\u002Fotel","; für EU, APAC und AWS US gibt es regionale Endpunkte. Der Exporter ergänzt den Signalpfad selbst, ein \u002Fv1\u002Ftraces in der Basis-URL ergibt deshalb einen 404.",{"type":163,"code":277},"pip install \"langsmith[otel]\"          # needs langsmith >= 0.3.18, 0.4.25 recommended\n\nexport LANGSMITH_TRACING=true\nexport LANGSMITH_OTEL_ENABLED=true\nexport LANGSMITH_ENDPOINT=https:\u002F\u002Fapi.smith.langchain.com\nexport LANGSMITH_API_KEY=...\n\n# fan out one OTLP stream to LangSmith and to the rest of the stack\nexport OTEL_EXPORTER_OTLP_ENDPOINT=https:\u002F\u002Fapi.smith.langchain.com\u002Fotel\nexport OTEL_EXPORTER_OTLP_HEADERS=\"x-api-key=...,Langsmith-Project=support\"\n\n# OTel-only, for teams that do not want a second transport\nexport LANGSMITH_OTEL_ONLY=true\n",{"type":113,"content":279},[280],"Der Trade-off ist Bequemlichkeit gegen Overhead. Der OTel-Weg kostet eine Übungsrunde im Attribut-Mapping, denn Span-Attributen müssen mit dem langsmith-Namespace beschriftet werden, damit aus ihnen Run-Typen, Run-IDs und dotted order werden; LangChains eigene Ankündigung beschreibt den OpenTelemetry-Weg als etwas höheren Overhead und empfiehlt das native Format, wenn LangSmith das einzige Ziel ist. Das native Format liefert außerdem Pending Runs, die schon im UI erscheinen, während die Arbeit noch läuft.",{"type":183,"variant":184,"title":282,"body":283},"Ein partieller Fan-out verliert Spans ohne Fehlermeldung",[284],[285,286,289],"Der OTLP-Endpunkt ist asynchron: Er nimmt einen Batch an, antwortet mit 200 und erzeugt die Runs im Hintergrund. Ein Child-Span, dessen Parent nie ankommt, wird gepuffert und läuft dann ab, und weil das 200 bereits gesendet war, wird nichts gemeldet. Geht ein Teil eines verteilten Traces an ein anderes Backend, kann der in LangSmith ankommende Teil still seinen Parent verlieren; bei selbst gehosteten Installationen ist das Pufferfenster die Redis-Einstellung ",{"tag":163,"children":287},[288],"REDIS_RUNS_EXPIRY_SECONDS",", standardmäßig 12 Stunden.",{"type":120,"level":121,"id":103,"text":104},{"type":113,"content":292},[293],"Zuerst die Schwächen, weil sie entscheiden, ob man dieses Produkt braucht. Die Abrechnungseinheit ist der Trace, was Sampling belohnt und eine Anwendung bestraft, die jeden Request traced; die Caps des Load Balancers gelten pro Service Key oder Personal Access Token, nicht pro Organisation, eine horizontal skalierte Flotte braucht also mehr Keys oder das Batching des SDK. Rollenbasierte Zugriffsrechte pro Workspace gibt es nur in Enterprise, ein wachsendes Team auf Plus teilt sich ein Rollenmodell. Und die Ressourcenhierarchie wird einem unter den Füßen weggebaut: Workspaces hießen Tenants, Agents sind als Gruppierung über Projekten in Beta, und in einem agent-basierten Workspace werden Traces über Agent und Environment adressiert statt über das Projekt.",{"type":198,"head":295,"rows":304},[296,298,300,302],[297],"Werkzeug",[299],"Stärke",[301],"Betrieb",[303],"Was es aufgibt",[305,313,322,331],[306,307,309,311],[24],[308],"Tracing plus Evals plus Managed-Agent-Runtime",[310],"Cloud, oder selbst gehostet in Enterprise",[312],"Kein Open Core: das SDK ist kostenlos, die Plattform nicht",[314,316,318,320],[315],"Langfuse",[317],"MIT-Kern, selbst hostbar und einsehbar",[319],"Cloud oder Selbstbetrieb",[321],"Weniger Managed-Runtime rund um die Traces",[323,325,327,329],[324],"Arize Phoenix",[326],"Apache-2.0, auf OpenTelemetry gebaut",[328],"Selbstbetrieb oder Cloud",[330],"Eine schmalere Produktoberfläche rund um Datensätze und Evals",[332,334,336,338],[333],"Helicone",[335],"Billiges Request-Logging mit schnellem Setup",[337],"Cloud oder Proxy-Deployment",[339],"Weniger Tiefe bei Run-Bäumen und Eval-Workflows",{"type":113,"content":341},[342],"Was LangSmith nicht aufgibt, ist die Messbarkeit: es ist die Referenzimplementierung für Run-Bäume, Thread-Ansichten für Unterhaltungen und dataset-getriebenes Regressionstesten, und die Annotation Queue mit Reservierungen ist eine ernsthafte Antwort auf die Frage, wer was labelt. Läuft die Anwendung bereits auf LangGraph, ist die Wahl offensichtlich, und die Wechselkosten liegen in der Runtime, nicht in den Traces.",{"type":120,"level":121,"id":106,"text":107},{"type":113,"content":345},[346],"LangSmith ist sein Geld wert, wenn das Verhalten eines Agents und nicht dessen Verfügbarkeit das ist, was bricht, und wenn Menschen labeling übernehmen sollen, deren Runs und Datensätze ein Release-Gate steuern. Weniger wert ist der Preis, wenn man nur ein Request-Log braucht, wenn ein Trace pro Nutzeranfrage zu viele Traces für das Budget sind, oder wenn die Ausbreitung der Plattform unklar macht, wofür man bezahlt.",{"type":126,"ordered":149,"items":348},[349,351,353,355,357],[350],"Einführen, wenn dataset-getriebene Regressionstests in CI gebraucht werden und nicht nur ein Trace-Viewer.",[352],"Einführen, wenn mehrere Leute Runs labeln müssen, denn Annotation Queues mit Reservierungen und Dataset-Export lassen sich schwer nachbauen.",[354],"Einführen, wenn ohnehin auf LangGraph gebaut wird, und die Runtime in die Rechnung einbeziehen, statt so zu tun, als wären die Traces etwas anderes.",[356],"Vorsichtig sein, wenn jeder Request getraced werden soll: die Event- und Byte-Grenzen pro Stunde modellieren, bevor in der Produktion instrumentiert wird.",[358],"Woanders suchen, wenn Selbstbetrieb ohne Vertriebsgespräch, rollenbasierte Rechte pro Workspace oder ein flacher Preis pro Trace besser passen als eine LSU-abgerechnete Plattform.",{"type":183,"variant":360,"title":361,"body":362},"note","Kurzfassung",[363],[364],"Das beste Trace- und Eval-Werkzeug auf dem Markt, verkauft als Plattform, die inzwischen auch die Runtime enthält, die sie beobachtet. Nutzt die Tracing- und Eval-Funktionen ernst, bleibt beim nativen Transport, außer ihr fahrt schon OpenTelemetry, und setzt Nutzungslimits vor der ersten Produktionswoche statt nach der Rechnung.",{"type":120,"level":121,"id":109,"text":110},{"type":126,"ordered":149,"items":367},[368,373,377,381,385,389,393],[369],{"tag":370,"href":34,"children":371},"a",[372],"LangSmith Preise",[374],{"tag":370,"href":37,"children":375},[376],"LangSmith Dokumentation: administration overview",[378],{"tag":370,"href":40,"children":379},[380],"LangSmith Dokumentation: custom instrumentation",[382],{"tag":370,"href":43,"children":383},[384],"LangSmith Dokumentation: trace with OpenTelemetry",[386],{"tag":370,"href":46,"children":387},[388],"LangSmith Dokumentation: evaluation concepts",[390],{"tag":370,"href":49,"children":391},[392],"LangSmith Dokumentation: self-hosted deployment",[394],{"tag":370,"href":52,"children":395},[396],"LangChain: End-to-End OpenTelemetry in LangSmith",[398,455,521,581],{"slug":399,"published":400,"minutes":401,"category":7,"tags":402,"keywords":408,"about":422,"sources":430,"cover":449,"og":450,"expertise":55,"locales":451,"lang":58,"title":452,"description":453,"coverAlt":454},"deepseek-v4-1-flash-1017","2026-10-17",15,[403,404,405,406,407],"DeepSeek","Open-weight models","KV cache","Mixture of experts","LLM cost",[409,410,411,412,413,414,415,416,417,418,419,420,421],"DeepSeek V4.1 Flash 1017","DeepSeek V4.1 Flash","Causal Encoder-Decoder","Compressed Sparse Attention 2","CSA2","FP4 KV cache","KV cache compression","SWA Bounded Replay","Engram conditional memory","DSpark speculative decoding","DeepSeek pricing","DeepSWE benchmark","open-weight coding model",[423,425,427],{"name":403,"url":424},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FDeepSeek",{"name":406,"url":426},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMixture_of_experts",{"name":428,"url":429},"Transformer (deep learning architecture)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTransformer_(deep_learning_architecture)",[431,434,437,440,443,446],{"title":432,"url":433},"DeepSeek-AI: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (arXiv:2609.19969)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.19969",{"title":435,"url":436},"Hugging Face: deepseek-ai\u002FDeepSeek-V4.1-Flash-1017 model card","https:\u002F\u002Fhuggingface.co\u002Fdeepseek-ai\u002FDeepSeek-V4.1-Flash-1017",{"title":438,"url":439},"OpenRouter: DeepSeek V4.1 Flash 1017, pricing and providers","https:\u002F\u002Fopenrouter.ai\u002Fdeepseek\u002Fdeepseek-v4.1-flash-1017",{"title":441,"url":442},"The Decoder: Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks while once again massively cutting per-task costs","https:\u002F\u002Fthe-decoder.com\u002Fdeepseek-v4-1-flash-1017-beats-larger-rivals-in-agentic-tasks-while-once-again-massively-cutting-per-task-costs\u002F",{"title":444,"url":445},"AI Weekly: DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API","https:\u002F\u002Faiweekly.co\u002Falerts\u002Fdeepseek-opens-v41-flash-1017-weights-and-075-search-api",{"title":447,"url":448},"DeepSeek on X: DeepSeek-V4.1-Flash-1017 announcement","https:\u002F\u002Fx.com\u002Fdeepseek_ai\u002Fstatus\u002F2111375640717033777","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fog.jpg",[57,58,59],"DeepSeek V4.1 Flash 1017: 890 Byte KV-Cache pro Token, und was ein Agent davon hat","Technischer Deep Dive zu DeepSeek V4.1 Flash 1017: Encoder-Decoder-Aufteilung, CSA2-Cache-Sharing, FP4-KV-Cache, Benchmarks und die echten Kosten pro Agenten-Task.","Links ein hoher Stapel dünner Karten, ein Pfeil, rechts dieselben Karten auf ein Viertel der Höhe zusammengepresst.",{"slug":456,"published":400,"minutes":6,"category":7,"tags":457,"keywords":462,"about":474,"sources":484,"cover":515,"og":516,"expertise":55,"locales":517,"lang":58,"title":518,"description":519,"coverAlt":520},"llm-rate-limits-retries-provider-fallback",[458,13,459,460,461],"Rate limits","Fallback","Reliability","LLM gateway",[463,464,465,466,467,468,469,470,471,472,473],"llm rate limit handling","429 too many requests llm api","exponential backoff with jitter","anthropic 529 overloaded error","openai rate limit retry","llm provider fallback","litellm fallbacks","retry-after header","llm circuit breaker","multi provider llm failover","claude api rate limits",[475,478,481],{"name":476,"url":477},"Token bucket","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FToken_bucket",{"name":479,"url":480},"Exponential backoff","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FExponential_backoff",{"name":482,"url":483},"Circuit breaker design pattern","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCircuit_breaker_design_pattern",[485,488,491,494,497,500,503,506,509,512],{"title":486,"url":487},"Claude Platform Docs: Rate limits","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Frate-limits",{"title":489,"url":490},"Claude Platform Docs: API errors","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Ferrors",{"title":492,"url":493},"OpenAI API Docs: Rate limits","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Frate-limits",{"title":495,"url":496},"AWS Builders Library: Timeouts, retries and backoff with jitter","https:\u002F\u002Fbuilder.aws.com\u002Fcontent\u002F3EumjoZascWd1oZiEgL8ORlv3qE\u002Ftimeouts-retries-and-backoff-with-jitter",{"title":498,"url":499},"MDN: Retry-After header","https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FRetry-After",{"title":501,"url":502},"Martin Fowler: Circuit Breaker (2014)","https:\u002F\u002Fmartinfowler.com\u002Fbliki\u002FCircuitBreaker.html",{"title":504,"url":505},"LiteLLM Docs: Router, retries and cooldowns","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":507,"url":508},"LiteLLM Docs: Proxy fallbacks and reliability","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Freliability",{"title":510,"url":511},"OpenRouter Docs: Model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":513,"url":514},"AI SDK Docs: Settings (maxRetries, timeout)","https:\u002F\u002Fai-sdk.dev\u002Fdocs\u002Fai-sdk-core\u002Fsettings","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fog.jpg",[57,58,59],"LLM-Rate-Limits in Produktion: Retries, Backoff und Provider-Fallback","Wie LLM-Rate-Limits funktionieren, welche Fehler man wiederholt, Backoff mit Jitter, Retries in nur einer Schicht und Fallback-Ketten ohne kaputte Ausgaben.","Kleine Quadrate steigen drei Stufen zu einem breiten Rechteck, dahinter zwei weitere in einer Reihe.",{"slug":522,"published":400,"minutes":523,"category":7,"tags":524,"keywords":529,"about":540,"sources":550,"cover":575,"og":576,"expertise":55,"locales":577,"lang":58,"title":578,"description":579,"coverAlt":580},"prompt-versioning-management",8,[525,526,527,528,315],"Prompt management","Versioning","LLMOps","Evals",[530,531,532,533,534,535,536,537,538,539],"prompt versioning","prompt management","prompt registry","version control for prompts","langfuse prompt management","mlflow prompt registry","prompts in git","openai prompt object deprecation","prompt rollback production","prompt ci evaluation",[541,544,547],{"name":542,"url":543},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":545,"url":546},"Version control","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FVersion_control",{"name":548,"url":549},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",[551,554,557,560,563,566,569,572],{"title":552,"url":553},"OpenAI API Docs: Migrate from prompt objects","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\u002Fmigrate-from-prompt-object",{"title":555,"url":556},"OpenAI API Docs: Prompt engineering (reusable prompts deprecation note)","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompt-engineering",{"title":558,"url":559},"Langfuse Docs: Prompt version control","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fprompt-version-control",{"title":561,"url":562},"Langfuse Docs: Prompt caching in the SDKs","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fcaching",{"title":564,"url":565},"Langfuse Docs: Link prompts to traces","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Flink-to-traces",{"title":567,"url":568},"MLflow Docs: Prompt Registry","https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002F",{"title":570,"url":571},"Promptfoo Docs: GitHub Action","https:\u002F\u002Fwww.promptfoo.dev\u002Fdocs\u002Fintegrations\u002Fgithub-action\u002F",{"title":573,"url":574},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fog.jpg",[57,58,59],"Prompt-Versionierung in Produktion: Git, Registries, Labels und Rollbacks","Prompts in Produktion versionieren: was zu einer Version gehört, Git oder Prompt-Registry, Labels und Rollbacks, Eval-Gates in CI und Folgen für Caches.","Fünf aufrechte Karten in einer Reihe, die dritte schwenkt an einem Bogenpfeil zurück, ein Tor vor der letzten.",{"slug":582,"published":400,"minutes":583,"category":7,"tags":584,"keywords":589,"about":600,"sources":610,"cover":631,"og":632,"expertise":55,"locales":633,"lang":58,"title":634,"description":635,"coverAlt":636},"llm-batch-api-offline-workloads",9,[585,586,527,587,588],"Batch API","Cost","Prompt caching","Data pipelines",[590,591,592,593,594,595,596,597,598,599],"llm batch api","anthropic message batches api","openai batch api","gemini batch mode","batch inference llm cost","batch api 50 percent discount","openai flex processing","bedrock batch inference","llm offline processing","batch api prompt caching",[601,604,607],{"name":602,"url":603},"Batch processing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBatch_processing",{"name":605,"url":606},"JSON Lines","https:\u002F\u002Fjsonlines.org\u002F",{"name":608,"url":609},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[611,614,616,617,620,623,625,628],{"title":612,"url":613},"Claude Platform Docs: Batch processing","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fbatch-processing",{"title":615,"url":487},"Claude Platform Docs: Rate limits (Message Batches API)",{"title":573,"url":574},{"title":618,"url":619},"OpenAI API Docs: Batch API","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fbatch",{"title":621,"url":622},"OpenAI API Docs: Flex processing","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fflex-processing",{"title":624,"url":493},"OpenAI API Docs: Rate limits (batch queue limits)",{"title":626,"url":627},"Google AI for Developers: Gemini Batch API","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fbatch-api",{"title":629,"url":630},"Amazon Bedrock User Guide: Batch inference","https:\u002F\u002Fdocs.aws.amazon.com\u002Fbedrock\u002Flatest\u002Fuserguide\u002Fbatch-inference.html","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fog.jpg",[57,58,59],"LLM-Batch-APIs: Inferenz zum halben Preis für Arbeit, die warten kann","Wann sich die Batch-APIs von Anthropic, OpenAI und Gemini lohnen, wie Limits, Zuordnung und Fehler funktionieren und wie sich Rabatte mit Caching addieren.","Eine breite Kiste mit acht kleinen Quadraten, Zulauf von links, ein langer Pfeil kehrt zurück.",1792261158271]