[{"data":1,"prerenderedAt":633},["ShallowReactive",2],{"tool-langsmith-de":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":31,"cover":53,"og":54,"expertise":55,"locales":56,"lang":58,"title":60,"description":61,"coverAlt":62,"url":25,"pricing":63,"kind":64,"metaTitle":65,"takeaways":66,"faq":72,"toc":88,"blocks":113,"others":403},"langsmith","2026-05-25",10,"llmops",[9,10,11,12,13],"Tracing","LLM evals","OpenTelemetry","Datasets","Retries",[4,15,16,17,18,19,20,21],"langsmith vs langfuse","llm observability tools","llm tracing cost","langsmith pricing","opentelemetry llm tracing","llm evaluation datasets","phoenix vs langsmith",[23,26,28],{"name":24,"url":25},"LangSmith","https:\u002F\u002Fwww.langchain.com\u002Flangsmith",{"name":11,"url":27},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":29,"url":30},"ClickHouse","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FClickHouse",[32,35,38,41,44,47,50],{"title":33,"url":34},"LangSmith pricing","https:\u002F\u002Fwww.langchain.com\u002Fpricing",{"title":36,"url":37},"LangSmith documentation: administration overview","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Fadministration-overview",{"title":39,"url":40},"LangSmith documentation: custom instrumentation","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Fannotate-code",{"title":42,"url":43},"LangSmith documentation: trace with OpenTelemetry","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Ftrace-with-opentelemetry",{"title":45,"url":46},"LangSmith documentation: evaluation concepts","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Fevaluation-concepts",{"title":48,"url":49},"LangSmith documentation: self-hosted deployment","https:\u002F\u002Fdocs.langchain.com\u002Flangsmith\u002Fself-hosted",{"title":51,"url":52},"LangChain: introducing end-to-end OpenTelemetry support in LangSmith","https:\u002F\u002Fwww.langchain.com\u002Fblog\u002Fend-to-end-opentelemetry-langsmith","\u002Fimages\u002Fblog\u002Flangsmith\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flangsmith\u002Fog.jpg","ai-engineer",[57,58,59],"en","de","hu","LangSmith: aus einem Observability-Produkt wurde eine Agent-Plattform","LangSmith im Test: Abrechnung pro Trace, 14 und 180 Tage Retention, OpenTelemetry-Ingestion, Offline- und Online-Evals, und wo die Plattform in Richtung Agent-Runtime kippt.","Der Weg eines LangSmith-Traces: instrumentierter Anwendungscode sendet Runs über einen SDK-Hintergrundthread in eine Ingest-Queue, die Traces nach ClickHouse schreibt.","Developer free · from $39 per month","LLM observability","LangSmith Test: Tracing, Evals und die Rechnung · Balázs Csorba",[67,68,69,70,71],"Die abrechenbare Einheit ist der Trace, nicht der Span und nicht der Token. Developer enthält 5.000 Base-Traces pro Monat für einen Seat, Plus kostet 39 US-Dollar pro Seat mit 10.000 enthalten, und der Developer-Plan ohne Zahlungsmittel ist auf 5.000 Traces pro Monat gedeckelt.","Base-Traces werden 14 Tage, Extended-Traces 180 Tage aufbewahrt, und Online-Evaluators, Automatisierungsregeln sowie API-Feedback mit extend_trace_retention heben Traces auf die teurere Stufe, sofern man nicht opt out.","Die Ingest-Grenzen sind stündlich und planabhängig: 50.000 Events und 500 MB pro Stunde auf Developer ohne Zahlungsdaten, 250.000 Events und 2,5 GB damit, auf Plus 500.000 Events und 5 GB.","Der Rest der Plattform wird in LangChain Standard Units zu je 1,00 US-Dollar abgerechnet, Engine, Fleet, Sandboxes und das LLM Gateway eingeschlossen, ein Seat-Preis sagt also wenig über die Rechnung aus.","Die OpenTelemetry-Anbindung funktioniert über das SDK oder einen OTLP-Endpunkt, aber ein Span, dessen Elternteil nie ankommt, wird gepuffert und danach stillschweigend verworfen, und das ist der Fehlerfall bei einem partiellen Fan-out.",[73,76,79,82,85],{"q":74,"a":75},"Was kostet LangSmith für ein kleines Team?","Der Developer-Plan ist kostenlos für einen Seat und enthält 5.000 Base-Traces pro Monat, ohne Zahlungsmittel ist er zugleich auf 5.000 Traces pro Monat gedeckelt. Plus kostet 39 US-Dollar pro Seat und Monat mit 10.000 enthaltenen Base-Traces und unbegrenzt vielen weiteren Seats. Enterprise wird angeboten und ist die einzige Stufe mit Rollen-basierten Zugriffsrechten pro Workspace und mit Selbstbetrieb.",{"q":77,"a":78},"Brauche ich LangChain für LangSmith?","Nein. Das langsmith SDK hat einen traceable-Dekorator für Python, TypeScript, Kotlin und Java, dazu eine RunTree-API auf niedriger Ebene und einen REST-Ingest-Pfad, damit lässt sich beliebiger Code instrumentieren. LangChain und LangGraph bekommen die Instrumentierung nur gratis dazu. LangSmith nimmt außerdem OpenTelemetry-Spans an, was die Doku für Anwendungen empfiehlt, die bereits OTLP senden.",{"q":80,"a":81},"Was passiert mit meinen Traces nach zwei Wochen?","Base-Retention sind 14 Tage, danach sind Traces in UI und API nicht mehr erreichbar und die zugehörigen Ein- und Ausgaben werden innerhalb eines Tages gelöscht, some Trace-Metadaten bleiben für Analytik und Abrechnung. Extended-Retention sind 180 Tage und teurer, seit 14. September 2026 sind diese 180 Tage das Maximum für SaaS-Kunden.",{"q":83,"a":84},"Kann LangSmith in meiner eigenen Infrastruktur laufen?","Ja, aber nur als Enterprise-Add-on mit Lizenzschlüssel. Eine selbst gehostete Instanz betreibt Frontend, Backend, Plattform-Backend, Playground, Queue und einen Codeausführungsdienst auf ClickHouse für Traces, PostgreSQL für Betriebsdaten und Redis oder Valkey für Queues, optional mit Blob Storage. LangChain empfiehlt für den Produktivbetrieb externe Datenbankdienste statt der mitgelieferten.",{"q":86,"a":87},"Trainiert LangSmith mit meinen Daten?","Nein. Die Preisfaq sagt ausdrücklich, LangSmith nutze die Daten nicht zum Trainieren von Modellen, Traces, Prompts und Ausgaben bleiben innerhalb der eigenen Organisation. Das ist eine vertragliche und keine technische Zusage, wer die Daten in der eigenen Perimeter braucht, nimmt den Selbstbetrieb.",[89,92,95,98,101,104,107,110],{"id":90,"title":91},"what-it-is","Was es ist",{"id":93,"title":94},"how-it-works","Wie es funktioniert",{"id":96,"title":97},"getting-started","Erste Schritte",{"id":99,"title":100},"what-it-costs","Was es kostet",{"id":102,"title":103},"instrumentation-choices","Natives Tracing oder OpenTelemetry",{"id":105,"title":106},"where-it-shingles","Wo es knirscht",{"id":108,"title":109},"verdict","Fazit",{"id":111,"title":112},"sources","Quellen",[114,118,121,124,127,143,144,147,156,159,160,167,170,181,187,198,199,202,256,259,262,271,272,281,283,286,295,296,299,345,348,349,352,365,371,372],{"type":115,"content":116},"paragraph",[117],"LangSmith ist eine gehostete Tracing- und Evaluierungsplattform für LLM-Anwendungen: jeder Aufruf, den ein Agent tätigt, wird zu einem Baum von Runs mit Ein- und Ausgaben, Latenz und Tokenzahlen, den man durchsuchen, bewerten und vergleichen kann. Das Urteil nach der Lektüre der Dokumentation: es ist das leistungsfähigste Werkzeug dieser Art und gleichzeitig das teuerste im Verständnis, denn es ist nicht mehr nur ein Observability-Produkt.",{"type":115,"content":119},[120],"Es konkurriert mit Langfuse, Arize Phoenix und Helicone um das Observability-Budget und zunehmend mit der eigenen Runtime, denn derselbe Anbieter verkauft auf derselben Preisseite Deployment, Studio, Engine, Fleet, Sandboxes und ein LLM Gateway. Diese Ausweitung ist das wichtigste Abwägungspunkt, weil jeder zusätzliche Dienst separat abgerechnet wird.",{"type":122,"level":123,"id":90,"text":91},"heading",2,{"type":115,"content":125},[126],"Die Plattform hat vier Teile, die sich eine Rechnung teilen: Tracing, Evaluierung, Prompt-Verwaltung und eine Agent-Runtime. Das Ressourcenmodell ist wichtiger als der Funktionsumfang. Eine Organisation hält Workspaces, Workspaces halten Tracing-Projekte, Datensätze, Annotation Queues und Prompts, und jeder Trace liegt in genau einem Projekt. Die Kernfakten:",{"type":128,"ordered":129,"items":130},"list",false,[131,133,135,137,139,141],[132],"Ein Trace ist eine Ausführung aus verschachtelten Runs; ein Run wird angelegt und dann aktualisiert, während die Arbeit vorankommt, deshalb sind Event- und Trace-Limit verschiedene Zahlen.",[134],"Tracing läuft über die Dekoratoren des langsmith SDK, über eine REST-Ingest-API oder über OpenTelemetry-Spans jeder instrumentierten Anwendung.",[136],"Offline-Evals laufen gegen Datensätze aus Beispielen mit Referenzausgaben, Online-Evals bewerten Live-Traces ohne Referenz.",[138],"Evaluatoren können Code, LLM-as-judge, ein typisiertes Entscheidungsmodell, paarweise Bewertung oder Mensch sein, und ein Evaluator kann an mehrere Projekte gehängt werden.",[140],"Annotation Queues, Dataset-Versionen und Splits, eine Prompt-Registry mit Commit-Tags und ein Playground sind alle enthalten.",[142],"Selbstbetrieb gibt es, aber nur als Enterprise-Add-on hinter einem Lizenzschlüssel.",{"type":122,"level":123,"id":93,"text":94},{"type":115,"content":145},[146],"Die Instrumentierung läuft im eigenen Prozess und sendet Runs über HTTPS an LangSmith. Das SDK arbeitet in einem Hintergrundthread und fasst bis zu 100 Runs einer Session in einem API-Aufruf zusammen, damit Tracing nicht im Request-Pfad hängt. Eine serverseitige Queue übernimmt Ingestion, Retries und Integritätsprüfungen, bevor in den Trace-Speicher geschrieben wird.",{"type":148,"attrs":149,"inner":153,"caption":154},"diagram",{"viewBox":150,"role":151,"aria-labelledby":152},"0 0 720 210","img","ls-diagram-t ls-diagram-d","\u003Ctitle id=\"ls-diagram-t\">Der Weg eines LangSmith-Traces\u003C\u002Ftitle>\u003Cdesc id=\"ls-diagram-d\">Instrumentierter Anwendungscode erzeugt Runs. Das SDK sendet sie gebündelt aus einem Hintergrundthread, denn ein Rate-Limit stoppt die ersten 5000 Posts an das Runs-Endpoint pro Minute. Eine Ingest-Queue wiederholt und speichert die Runs in ClickHouse. Dashboards, Monitore und die Query-API lesen aus diesem Speicher.\u003C\u002Fdesc>\u003Cdefs>\u003Cmarker id=\"ah-ls\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head\" \u002F>\u003C\u002Fmarker>\u003C\u002Fdefs>\u003Ctext x=\"16\" y=\"26\" class=\"d-title\">eine anfrage, ein trace-baum\u003C\u002Ftext>\u003Crect x=\"16\" y=\"70\" width=\"156\" height=\"60\" rx=\"10\" class=\"d-accent\" \u002F>\u003Ctext x=\"94\" y=\"97\" text-anchor=\"middle\" class=\"d-text\">ihre app\u003C\u002Ftext>\u003Ctext x=\"94\" y=\"117\" text-anchor=\"middle\" class=\"d-small\">traceable\u003C\u002Ftext>\u003Crect x=\"208\" y=\"70\" width=\"170\" height=\"60\" rx=\"10\" class=\"d-mint\" \u002F>\u003Ctext x=\"293\" y=\"97\" text-anchor=\"middle\" class=\"d-text\">sdk-thread\u003C\u002Ftext>\u003Ctext x=\"293\" y=\"117\" text-anchor=\"middle\" class=\"d-small\">gebündelte posts\u003C\u002Ftext>\u003Crect x=\"414\" y=\"70\" width=\"110\" height=\"60\" rx=\"10\" class=\"d-gold\" \u002F>\u003Ctext x=\"469\" y=\"97\" text-anchor=\"middle\" class=\"d-text\">queue\u003C\u002Ftext>\u003Ctext x=\"469\" y=\"117\" text-anchor=\"middle\" class=\"d-small\">retry\u003C\u002Ftext>\u003Crect x=\"560\" y=\"70\" width=\"144\" height=\"60\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"632\" y=\"97\" text-anchor=\"middle\" class=\"d-text\">trace-speicher\u003C\u002Ftext>\u003Ctext x=\"632\" y=\"117\" text-anchor=\"middle\" class=\"d-small\">ClickHouse\u003C\u002Ftext>\u003Cpath d=\"M172 100L204 100\" class=\"d-line\" marker-end=\"url(#ah-ls)\" \u002F>\u003Cpath d=\"M378 100L410 100\" class=\"d-line\" marker-end=\"url(#ah-ls)\" \u002F>\u003Cpath d=\"M524 100L556 100\" class=\"d-line\" marker-end=\"url(#ah-ls)\" \u002F>\u003Ctext x=\"178\" y=\"152\" class=\"d-label\">429 nach 5.000 posts pro minute\u003C\u002Ftext>\u003Ctext x=\"16\" y=\"188\" class=\"d-small\">dashboards, monitore und die query-api lesen alle aus demselben speicher\u003C\u002Ftext>",[155],"Weil die Queue asynchron arbeitet, kann ein mit 200 angenommener Trace trotzdem ausfallen, und ein kurzlebiges Prozessende kann vor dem Absenden seiner Runs liegen.",{"type":115,"content":157},[158],"Diese Queue erklärt, warum die Ingest-Grenzen als festes Fenster und nicht als glatter Durchschnitt formuliert sind und warum ein 429 ein normales Ereignis mit Backoff ist und kein Ausfall. Der Load Balancer setzt auf jedem Plan feste Grenzen pro Minute: 5000 POST- oder PATCH-Anfragen an die Runs-Endpunkte, 5000 an Feedbacks, 2000 für alle anderen Endpunkte und 30 Löschungen. Das SDK bündelt, und genau das hält eine ausgelastete Anwendung unter diesen Werten.",{"type":122,"level":123,"id":96,"text":97},{"type":115,"content":161},[162,163,164,165,166],"Zwei Umgebungsvariablen schalten Tracing ohne Codeänderung ein, was für die lokale Entwicklung zählt: ","LANGSMITH_TRACING"," steuert Dekorator und Context Manager, ","LANGSMITH_PROJECT"," benennt das Zielprojekt und ist standardmäßig default. Das minimale Python-Setup verfolgt eine Pipeline als verschachtelte Runs:",{"type":168,"code":169},"code","import asyncio\n\nfrom langsmith import Client, traceable\nfrom openai import AsyncOpenAI\n\nclient = Client()\nllm = AsyncOpenAI()\n\n\n@traceable(run_type=\"retriever\", name=\"retrieve_docs\")\nasync def retrieve_docs(question: str) -> list[str]:\n    return [\"Annual report: revenue up 12 percent.\"]\n\n\n@traceable(run_type=\"llm\", name=\"answer\")\nasync def answer(question: str, context: list[str]) -> str:\n    reply = await llm.chat.completions.create(\n        model=\"gpt-5.4-mini\",\n        messages=[{\"role\": \"user\", \"content\": f\"{question}\\n{chr(10).join(context)}\"}],\n    )\n    return reply.choices[0].message.content\n\n\n@traceable(name=\"support_agent\")\nasync def support_agent(question: str) -> str:\n    return await answer(question, await retrieve_docs(question))\n\n\nasync def main() -> None:\n    try:\n        print(await support_agent(\"How did revenue move?\"))\n    finally:\n        await client.flush()  # background thread must finish before exit\n\n\nasyncio.run(main())\n",{"type":115,"content":171},[172,173,174,175,176,177,178,179,180],"Der Dekorator propagiert den Kontext, die drei Funktionen erscheinen also ohne manuelles Verdrahten als Baum, und ","run_type"," entscheidet, wie das Dashboard einen Knoten darstellt: ","llm"," liefert Tokenzahlen und Latenz, ","retriever"," und ","tool"," kennzeichnen die übrigen Schritte. Derselbe Client fährt Offline-Evaluierungen gegen einen Datensatz, und dort fängt der eigentliche Wert an, sich zu verzinsen.",{"type":115,"content":182},[183,184,185,186],"Dieselbe API betreibt die Eval-Schleife. ","evaluate"," nimmt eine Zielfunktion, einen Datensatz und eine Liste von Evaluatoren, erzeugt ein Experiment mit einem Run pro Beispiel und lässt sich aus CI steuern:"," Jede eingecheckte Prompt-Änderung gegen die getaggte Dataset-Version evaluieren und den Build fehlschlagen lassen, wenn die Groundedness um mehr als einen Punkt fällt. LangSmith versioniert Datensätze automatisch, wenn sich Beispiele ändern, ein Tag pinnt einen CI-Lauf also auf einen Datenstand. Die Dokumentation ist deutlich: fünf bis zehn kuratierte Beispiele für gute Ausgaben schreiben, bevor irgendein Evaluator entsteht.",{"type":188,"variant":189,"title":190,"body":191},"callout","warn","Der Trace-Baum liegt nicht in Ihrem Prozess",[192],[193,194,197],"Tracing läuft in einem Hintergrundthread, damit ein langsames oder nicht erreichbares LangSmith den Request-Pfad nicht blockiert, das ist der richtige Trade. Die Folge ist, dass ein Prozess enden kann, bevor seine Runs abgeschickt sind. Das SDK bietet dafür ",{"tag":168,"children":195},[196],"flush"," an, und die Dokumentation weist ausdrücklich auf kurzlebige Jobs und Serverless-Handler hin. Wer es überspringt, bekommt den häufigsten Grund für eine leere Trace-Liste in Tests oder Batch-Jobs.",{"type":122,"level":123,"id":99,"text":100},{"type":115,"content":200},[201],"Seats sind der sichtbare Preis, Traces sind die metrierte Größe. Der Developer-Plan ist für einen Seat kostenlos und enthält 5.000 Base-Traces pro Monat; Plus kostet 39 US-Dollar pro Seat und Monat mit 10.000 enthalten und unbegrenzt vielen weiteren Seats; Enterprise wird angeboten und ergänzt Selbst- und Hybrid-Betrieb, eigenes SSO sowie attribut- und rollenbasierte Zugriffskontrolle.",{"type":203,"head":204,"rows":215},"table",[205,207,209,211,213],[206],"Plan",[208],"Seats",[210],"Enthaltene Traces",[212],"Ingest-Grenze pro Stunde",[214],"Retention",[216,227,236,247],[217,219,221,223,225],[218],"Developer ohne Zahlungsdaten",[220],"1",[222],"5.000 pro Monat, plus Monatsdeckel von 5.000",[224],"50.000 Events und 500 MB",[226],"14 Tage, per Upgrade verlängert",[228,230,231,233,235],[229],"Developer mit Zahlungsdaten",[220],[232],"5.000 pro Monat",[234],"250.000 Events und 2,5 GB",[226],[237,239,241,243,245],[238],"Plus",[240],"Unbegrenzt, je 39 US-Dollar",[242],"10.000 pro Monat",[244],"500.000 Events und 5 GB",[246],"14 oder 180 Tage",[248,250,252,253,254],[249],"Enterprise",[251],"Individuell",[251],[251],[255],"Bis 180 Tage, konfigurierbar",{"type":115,"content":257},[258],"Ein Event ist das Anlegen oder das Aktualisieren eines Runs, ein in derselben Stunde angelegter und dann gepatchter Run zählt also zweimal gegen das Stundenlimit, und ein 2 MB großer Run, der später auf 3 MB aktualisiert wird, zählt 5 MB gegen das Volumenlimit. Das ist der Mechanismus, den man in der Kapazitätsplanung modellieren muss: die Form des Traces, nicht die Zahl der Requests, treibt die Grenze.",{"type":115,"content":260},[261],"Der Rest der Plattform wird in LangChain Standard Units abgerechnet, eine LSU kostet 1,00 US-Dollar. Die Engine läuft alle sechs Stunden, ein einzelner Lauf wird je nach Tracevolumen und Issue-Zahl auf 7 bis 45 LSU geschätzt. Fleet enthält 7 LSU auf Developer und 37 LSU auf Plus, Sandboxes 8 LSU, ein Perceived-Error-Evaluator-Lauf 0,015 LSU. Ein Seat für 39 US-Dollar sagt also wenig über die Rechnung aus, sobald die Runtime genutzt wird.",{"type":188,"variant":189,"title":263,"body":264},"Retention-Upgrades passieren still, und es gibt einen Haken",[265],[266,267,270],"Base-Traces leben 14 Tage, Extended 180. Online-Evaluators, Automatisierungsregeln, die auf einen Run im Trace matchen, sowie Feedback über die API mit explizitem ",{"tag":168,"children":268},[269],"extend_trace_retention"," heben einen Trace auf die teurere Stufe, sofern man nicht opt out; seit 14. September 2026 sind die 180 Tage für SaaS die Obergrenze. Hässlicher ist das Limit für Extended-Traces: ist es erreicht, werden Regelabgleich, API-Feedback und Annotation Queues vollständig abgeschaltet, weil jede dieser Funktionen einen weiteren Extended-Trace erzeugen könnte.",{"type":122,"level":123,"id":102,"text":103},{"type":115,"content":273},[274,275,276,277,278,279,280],"LangSmith nimmt OpenTelemetry-Spans auf zwei Wegen an. Mit der SDK-Integration sorgt ","LANGSMITH_OTEL_ENABLED=true"," dafür, dass LangChain und LangGraph Spans über den LangSmith-Exporter senden, und ","LANGSMITH_OTEL_ONLY=true"," unterbindet zusätzlich das eigene Format. Bei jeder anderen Anwendung zeigt man einen Standard-OTLP-Exporter auf den Basis-Endpunkt ","https:\u002F\u002Fapi.smith.langchain.com\u002Fotel","; für EU, APAC und AWS US gibt es regionale Endpunkte. Der Exporter ergänzt den Signalpfad selbst, ein \u002Fv1\u002Ftraces in der Basis-URL ergibt deshalb einen 404.",{"type":168,"code":282},"pip install \"langsmith[otel]\"          # needs langsmith >= 0.3.18, 0.4.25 recommended\n\nexport LANGSMITH_TRACING=true\nexport LANGSMITH_OTEL_ENABLED=true\nexport LANGSMITH_ENDPOINT=https:\u002F\u002Fapi.smith.langchain.com\nexport LANGSMITH_API_KEY=...\n\n# fan out one OTLP stream to LangSmith and to the rest of the stack\nexport OTEL_EXPORTER_OTLP_ENDPOINT=https:\u002F\u002Fapi.smith.langchain.com\u002Fotel\nexport OTEL_EXPORTER_OTLP_HEADERS=\"x-api-key=...,Langsmith-Project=support\"\n\n# OTel-only, for teams that do not want a second transport\nexport LANGSMITH_OTEL_ONLY=true\n",{"type":115,"content":284},[285],"Der Trade-off ist Bequemlichkeit gegen Overhead. Der OTel-Weg kostet eine Übungsrunde im Attribut-Mapping, denn Span-Attributen müssen mit dem langsmith-Namespace beschriftet werden, damit aus ihnen Run-Typen, Run-IDs und dotted order werden; LangChains eigene Ankündigung beschreibt den OpenTelemetry-Weg als etwas höheren Overhead und empfiehlt das native Format, wenn LangSmith das einzige Ziel ist. Das native Format liefert außerdem Pending Runs, die schon im UI erscheinen, während die Arbeit noch läuft.",{"type":188,"variant":189,"title":287,"body":288},"Ein partieller Fan-out verliert Spans ohne Fehlermeldung",[289],[290,291,294],"Der OTLP-Endpunkt ist asynchron: Er nimmt einen Batch an, antwortet mit 200 und erzeugt die Runs im Hintergrund. Ein Child-Span, dessen Parent nie ankommt, wird gepuffert und läuft dann ab, und weil das 200 bereits gesendet war, wird nichts gemeldet. Geht ein Teil eines verteilten Traces an ein anderes Backend, kann der in LangSmith ankommende Teil still seinen Parent verlieren; bei selbst gehosteten Installationen ist das Pufferfenster die Redis-Einstellung ",{"tag":168,"children":292},[293],"REDIS_RUNS_EXPIRY_SECONDS",", standardmäßig 12 Stunden.",{"type":122,"level":123,"id":105,"text":106},{"type":115,"content":297},[298],"Zuerst die Schwächen, weil sie entscheiden, ob man dieses Produkt braucht. Die Abrechnungseinheit ist der Trace, was Sampling belohnt und eine Anwendung bestraft, die jeden Request traced; die Caps des Load Balancers gelten pro Service Key oder Personal Access Token, nicht pro Organisation, eine horizontal skalierte Flotte braucht also mehr Keys oder das Batching des SDK. Rollenbasierte Zugriffsrechte pro Workspace gibt es nur in Enterprise, ein wachsendes Team auf Plus teilt sich ein Rollenmodell. Und die Ressourcenhierarchie wird einem unter den Füßen weggebaut: Workspaces hießen Tenants, Agents sind als Gruppierung über Projekten in Beta, und in einem agent-basierten Workspace werden Traces über Agent und Environment adressiert statt über das Projekt.",{"type":203,"head":300,"rows":309},[301,303,305,307],[302],"Werkzeug",[304],"Stärke",[306],"Betrieb",[308],"Was es aufgibt",[310,318,327,336],[311,312,314,316],[24],[313],"Tracing plus Evals plus Managed-Agent-Runtime",[315],"Cloud, oder selbst gehostet in Enterprise",[317],"Kein Open Core: das SDK ist kostenlos, die Plattform nicht",[319,321,323,325],[320],"Langfuse",[322],"MIT-Kern, selbst hostbar und einsehbar",[324],"Cloud oder Selbstbetrieb",[326],"Weniger Managed-Runtime rund um die Traces",[328,330,332,334],[329],"Arize Phoenix",[331],"Apache-2.0, auf OpenTelemetry gebaut",[333],"Selbstbetrieb oder Cloud",[335],"Eine schmalere Produktoberfläche rund um Datensätze und Evals",[337,339,341,343],[338],"Helicone",[340],"Billiges Request-Logging mit schnellem Setup",[342],"Cloud oder Proxy-Deployment",[344],"Weniger Tiefe bei Run-Bäumen und Eval-Workflows",{"type":115,"content":346},[347],"Was LangSmith nicht aufgibt, ist die Messbarkeit: es ist die Referenzimplementierung für Run-Bäume, Thread-Ansichten für Unterhaltungen und dataset-getriebenes Regressionstesten, und die Annotation Queue mit Reservierungen ist eine ernsthafte Antwort auf die Frage, wer was labelt. Läuft die Anwendung bereits auf LangGraph, ist die Wahl offensichtlich, und die Wechselkosten liegen in der Runtime, nicht in den Traces.",{"type":122,"level":123,"id":108,"text":109},{"type":115,"content":350},[351],"LangSmith ist sein Geld wert, wenn das Verhalten eines Agents und nicht dessen Verfügbarkeit das ist, was bricht, und wenn Menschen labeling übernehmen sollen, deren Runs und Datensätze ein Release-Gate steuern. Weniger wert ist der Preis, wenn man nur ein Request-Log braucht, wenn ein Trace pro Nutzeranfrage zu viele Traces für das Budget sind, oder wenn die Ausbreitung der Plattform unklar macht, wofür man bezahlt.",{"type":128,"ordered":353,"items":354},true,[355,357,359,361,363],[356],"Einführen, wenn dataset-getriebene Regressionstests in CI gebraucht werden und nicht nur ein Trace-Viewer.",[358],"Einführen, wenn mehrere Leute Runs labeln müssen, denn Annotation Queues mit Reservierungen und Dataset-Export lassen sich schwer nachbauen.",[360],"Einführen, wenn ohnehin auf LangGraph gebaut wird, und die Runtime in die Rechnung einbeziehen, statt so zu tun, als wären die Traces etwas anderes.",[362],"Vorsichtig sein, wenn jeder Request getraced werden soll: die Event- und Byte-Grenzen pro Stunde modellieren, bevor in der Produktion instrumentiert wird.",[364],"Woanders suchen, wenn Selbstbetrieb ohne Vertriebsgespräch, rollenbasierte Rechte pro Workspace oder ein flacher Preis pro Trace besser passen als eine LSU-abgerechnete Plattform.",{"type":188,"variant":366,"title":367,"body":368},"note","Kurzfassung",[369],[370],"Das beste Trace- und Eval-Werkzeug auf dem Markt, verkauft als Plattform, die inzwischen auch die Runtime enthält, die sie beobachtet. Nutzt die Tracing- und Eval-Funktionen ernst, bleibt beim nativen Transport, außer ihr fahrt schon OpenTelemetry, und setzt Nutzungslimits vor der ersten Produktionswoche statt nach der Rechnung.",{"type":122,"level":123,"id":111,"text":112},{"type":128,"ordered":353,"items":373},[374,379,383,387,391,395,399],[375],{"tag":376,"href":34,"children":377},"a",[378],"LangSmith Preise",[380],{"tag":376,"href":37,"children":381},[382],"LangSmith Dokumentation: administration overview",[384],{"tag":376,"href":40,"children":385},[386],"LangSmith Dokumentation: custom instrumentation",[388],{"tag":376,"href":43,"children":389},[390],"LangSmith Dokumentation: trace with OpenTelemetry",[392],{"tag":376,"href":46,"children":393},[394],"LangSmith Dokumentation: evaluation concepts",[396],{"tag":376,"href":49,"children":397},[398],"LangSmith Dokumentation: self-hosted deployment",[400],{"tag":376,"href":52,"children":401},[402],"LangChain: End-to-End OpenTelemetry in LangSmith",[404,453,536,590],{"slug":405,"published":406,"minutes":407,"category":7,"tags":408,"keywords":414,"about":421,"sources":425,"cover":444,"og":445,"expertise":55,"locales":446,"lang":58,"title":447,"description":448,"coverAlt":449,"url":450,"pricing":451,"kind":452},"ollama","2026-09-29",11,[409,410,411,412,413],"Local inference","Open models","llama.cpp","GGUF","Model serving",[405,415,416,417,418,419,420],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[422],{"name":423,"url":424},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[426,429,432,435,438,441],{"title":427,"url":428},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":430,"url":431},"Ollama on GitHub, with the MIT LICENSE file","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":433,"url":434},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":436,"url":437},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":439,"url":440},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":442,"url":443},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg",[57,58,59],"Ollama im Test: der freundliche Weg zu offenen Modellen","Ollama liefert offene Modelle über eine HTTP-API auf eigener Hardware aus. Was es gut macht, wo der Durchsatz zu kurz kommt, was die MIT-Lizenz nicht abdeckt.","Abstrakte Titelgrafik für den Ollama-Test","https:\u002F\u002Follama.com","MIT · free for personal use","Local inference runtime",{"slug":454,"published":455,"minutes":407,"category":7,"tags":456,"keywords":462,"about":470,"sources":477,"cover":529,"og":530,"expertise":55,"locales":531,"lang":58,"title":532,"description":533,"coverAlt":534,"url":473,"pricing":535,"kind":457},"portkey","2026-09-28",[457,458,459,460,461],"LLM gateway","Guardrails","Routing","Observability","Cost control",[463,464,465,466,467,468,469],"portkey ai gateway","portkey vs litellm","llm gateway comparison","llm gateway latency overhead","llm guardrails gateway","self-hosted llm gateway","portkey pricing",[471,474],{"name":472,"url":473},"Portkey","https:\u002F\u002Fportkey.ai",{"name":475,"url":476},"API gateway","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FAPI_gateway",[478,481,484,487,490,493,496,499,502,505,508,511,514,517,520,523,526],{"title":479,"url":480},"Portkey docs: AI Gateway","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway",{"title":482,"url":483},"Portkey docs: Getting started with the AI Gateway","https:\u002F\u002Fdocs.portkey.ai\u002Fdocs\u002Fguides\u002Fgetting-started\u002Fgetting-started-with-ai-gateway",{"title":485,"url":486},"Portkey docs: Gateway config object","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fapi-reference\u002Fconfig-object",{"title":488,"url":489},"Portkey docs: Guardrails","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails",{"title":491,"url":492},"Portkey docs: Guardrail endpoints and capabilities","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails\u002Fcapabilities",{"title":494,"url":495},"Portkey docs: Cache, simple and semantic","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fcache-simple-and-semantic",{"title":497,"url":498},"Portkey docs: Load balancing","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fload-balancing",{"title":500,"url":501},"Portkey docs: Enterprise hybrid deployment architecture","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fself-hosting\u002Fhybrid-deployments\u002Farchitecture",{"title":503,"url":504},"Portkey pricing","https:\u002F\u002Fportkey.ai\u002Fpricing",{"title":506,"url":507},"Portkey gateway on GitHub, MIT licensed","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway",{"title":509,"url":510},"Portkey's own benchmark: gateway versus direct Bedrock","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fbenchmark-test",{"title":512,"url":513},"Portkey status page","https:\u002F\u002Fstatus.portkey.ai\u002F",{"title":515,"url":516},"Palo Alto Networks completes acquisition of Portkey, May 2026","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fcompany\u002Fpress\u002F2026\u002Fpalo-alto-networks-completes-acquisition-of-portkey-to-secure-ai-agents",{"title":518,"url":519},"Palo Alto Networks: Prisma AIRS AI Gateway","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fai-security\u002Fai-gateway",{"title":521,"url":522},"Cloudflare AI Gateway pricing","https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-gateway\u002Freference\u002Fpricing\u002F",{"title":524,"url":525},"LiteLLM pricing","https:\u002F\u002Fwww.litellm.ai\u002Fpricing",{"title":527,"url":528},"OpenRouter pricing","https:\u002F\u002Fopenrouter.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Fportkey\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fportkey\u002Fog.jpg",[57,58,59],"Portkey: ein LLM-Gateway für die Produktion, geprüft auf Routing, Guardrails und Kosten","Portkey bündelt Retries, Fallbacks, Cache, Guardrails und Kostenkontrolle hinter einer OpenAI-kompatiblen Schnittstelle. Was die Konfiguration gut löst und was das Gateway an Latenz kostet.","Ein Requestweg von der Anwendung durch das Portkey-Gateway zu drei Modellanbietern, darunter das Guardrail-Ergebnis und das Protokoll.","Free · from $49 per month",{"slug":537,"published":538,"minutes":6,"category":7,"tags":539,"keywords":542,"about":550,"sources":558,"cover":583,"og":584,"expertise":55,"locales":585,"lang":58,"title":586,"description":587,"coverAlt":588,"url":552,"pricing":589,"kind":64},"langfuse","2026-08-13",[64,9,11,540,541],"Self-hosting","Evaluation",[537,543,544,545,546,547,548,549],"langfuse vs langsmith","llm tracing tool","self-hosted llm observability","langfuse pricing","opentelemetry llm traces","llm cost tracking","prompt versioning",[551,553,554,555],{"name":320,"url":552},"https:\u002F\u002Flangfuse.com",{"name":11,"url":27},{"name":29,"url":30},{"name":556,"url":557},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",[559,562,565,568,571,574,577,580],{"title":560,"url":561},"Langfuse documentation: observability and application tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Foverview",{"title":563,"url":564},"Langfuse documentation: get started with tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Fget-started",{"title":566,"url":567},"Langfuse pricing: cloud plans, billable units and worked examples","https:\u002F\u002Flangfuse.com\u002Fpricing",{"title":569,"url":570},"Langfuse pricing: self-hosted plans and the feature comparison","https:\u002F\u002Flangfuse.com\u002Fpricing-self-host",{"title":572,"url":573},"Self-host Langfuse: deployment options, containers and storage services","https:\u002F\u002Flangfuse.com\u002Fself-hosting",{"title":575,"url":576},"Langfuse changelog: v4 is live (17 August 2026)","https:\u002F\u002Flangfuse.com\u002Fchangelog\u002F2026-08-17-langfuse-v4",{"title":578,"url":579},"Langfuse blog: Langfuse joins ClickHouse (16 January 2026)","https:\u002F\u002Flangfuse.com\u002Fblog\u002Fjoining-clickhouse",{"title":581,"url":582},"GitHub: langfuse\u002Flangfuse, the platform repository","https:\u002F\u002Fgithub.com\u002Flangfuse\u002Flangfuse","\u002Fimages\u002Fblog\u002Flangfuse\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flangfuse\u002Fog.jpg",[57,58,59],"Langfuse-Test: Tracing, Prompts und Evals selbst gehostet","Langfuse legt LLM-Traces, Prompt-Versionen und Experimente auf eine MIT-lizenzierte Plattform. Was das Selbsthosten wirklich kostet, wie die Einheitspreise rechnen und wo es verliert.","Eine Pipeline vom gebündelten Application-Event über den Langfuse-Web-Container und den Object Storage in ClickHouse, mit Redis und PostgreSQL daneben.","MIT · paid from $59 per month",{"slug":591,"published":592,"minutes":6,"category":7,"tags":593,"keywords":598,"about":605,"sources":609,"cover":625,"og":626,"expertise":55,"locales":627,"lang":58,"title":628,"description":629,"coverAlt":630,"url":631,"pricing":632,"kind":457},"openrouter","2026-07-23",[457,594,595,596,597],"Model routing","Fallbacks","OpenAI-compatible","Pay per token",[591,599,465,600,601,602,603,604],"openrouter vs litellm","openrouter pricing","openai compatible api gateway","llm fallback routing","multi model api gateway","byok llm routing",[606],{"name":607,"url":608},"OpenRouter","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenRouter",[610,613,614,617,620,623],{"title":611,"url":612},"OpenRouter documentation: quickstart","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fquickstart",{"title":527,"url":528},{"title":615,"url":616},"OpenRouter documentation: model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":618,"url":619},"OpenRouter documentation: provider routing","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fprovider-selection",{"title":621,"url":622},"OpenRouter documentation index","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fllms.txt",{"title":624,"url":608},"Wikipedia: OpenRouter","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fog.jpg",[57,58,59],"OpenRouter: ein API-Schlüssel vor jedem Modell im Katalog","OpenRouter packt 500+ Modelle von 80+ Anbietern hinter einen OpenAI-kompatiblen Endpunkt, mit Fallbacks und Weiterverrechnung zum Listenpreis. Kosten und Schwächen.","Anfragepfad durch OpenRouter: Client, Router, mögliche Anbieter, Fallback-Liste und das Modell, das tatsächlich antwortet.","https:\u002F\u002Fopenrouter.ai","Pay per token, no subscription",1791383550858]