[{"data":1,"prerenderedAt":715},["ShallowReactive",2],{"tool-portkey-de":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":29,"cover":81,"og":82,"expertise":83,"locales":84,"lang":86,"title":88,"description":89,"coverAlt":90,"url":25,"pricing":91,"kind":9,"metaTitle":92,"takeaways":93,"faq":99,"toc":112,"blocks":136,"others":508},"portkey","2026-09-28",11,"llmops",[9,10,11,12,13],"LLM gateway","Guardrails","Routing","Observability","Cost control",[15,16,17,18,19,20,21],"portkey ai gateway","portkey vs litellm","llm gateway comparison","llm gateway latency overhead","llm guardrails gateway","self-hosted llm gateway","portkey pricing",[23,26],{"name":24,"url":25},"Portkey","https:\u002F\u002Fportkey.ai",{"name":27,"url":28},"API gateway","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FAPI_gateway",[30,33,36,39,42,45,48,51,54,57,60,63,66,69,72,75,78],{"title":31,"url":32},"Portkey docs: AI Gateway","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway",{"title":34,"url":35},"Portkey docs: Getting started with the AI Gateway","https:\u002F\u002Fdocs.portkey.ai\u002Fdocs\u002Fguides\u002Fgetting-started\u002Fgetting-started-with-ai-gateway",{"title":37,"url":38},"Portkey docs: Gateway config object","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fapi-reference\u002Fconfig-object",{"title":40,"url":41},"Portkey docs: Guardrails","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails",{"title":43,"url":44},"Portkey docs: Guardrail endpoints and capabilities","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails\u002Fcapabilities",{"title":46,"url":47},"Portkey docs: Cache, simple and semantic","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fcache-simple-and-semantic",{"title":49,"url":50},"Portkey docs: Load balancing","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fload-balancing",{"title":52,"url":53},"Portkey docs: Enterprise hybrid deployment architecture","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fself-hosting\u002Fhybrid-deployments\u002Farchitecture",{"title":55,"url":56},"Portkey pricing","https:\u002F\u002Fportkey.ai\u002Fpricing",{"title":58,"url":59},"Portkey gateway on GitHub, MIT licensed","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway",{"title":61,"url":62},"Portkey's own benchmark: gateway versus direct Bedrock","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fbenchmark-test",{"title":64,"url":65},"Portkey status page","https:\u002F\u002Fstatus.portkey.ai\u002F",{"title":67,"url":68},"Palo Alto Networks completes acquisition of Portkey, May 2026","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fcompany\u002Fpress\u002F2026\u002Fpalo-alto-networks-completes-acquisition-of-portkey-to-secure-ai-agents",{"title":70,"url":71},"Palo Alto Networks: Prisma AIRS AI Gateway","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fai-security\u002Fai-gateway",{"title":73,"url":74},"Cloudflare AI Gateway pricing","https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-gateway\u002Freference\u002Fpricing\u002F",{"title":76,"url":77},"LiteLLM pricing","https:\u002F\u002Fwww.litellm.ai\u002Fpricing",{"title":79,"url":80},"OpenRouter pricing","https:\u002F\u002Fopenrouter.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Fportkey\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fportkey\u002Fog.jpg","ai-engineer",[85,86,87],"en","de","hu","Portkey: ein LLM-Gateway für die Produktion, geprüft auf Routing, Guardrails und Kosten","Portkey bündelt Retries, Fallbacks, Cache, Guardrails und Kostenkontrolle hinter einer OpenAI-kompatiblen Schnittstelle. Was die Konfiguration gut löst und was das Gateway an Latenz kostet.","Ein Requestweg von der Anwendung durch das Portkey-Gateway zu drei Modellanbietern, darunter das Guardrail-Ergebnis und das Protokoll.","Free · from $49 per month","Portkey: Routing, Guardrails und Latenz · Csorba Balázs",[94,95,96,97,98],"Portkeys Routing-Konfiguration ist das stärkste Teil des Produkts: geschlossenes Schema, vier ineinander verschachtelbare Strategiemodi, Gewichte, die auf 100 normalisiert werden, und ein Circuit Breaker, dessen Cooldown nicht unter 30 Sekunden gesetzt werden kann.","Das gehostete Gateway ist ein Netzwerk-Hop. Portkeys eigenes Benchmark-Repository misst ihn mit plus 93 ms im Durchschnitt gegenüber einem direkten Bedrock-Aufruf und nennt 50 bis 150 ms als typisch für die zwei zusätzlichen Hops.","Guardrails lesen immer nur die letzte Nachricht und niemals Bilddaten; eine abgelehnte synchrone Prüfung antwortet mit 446, einem Statuscode, den die meisten SDKs wie einen Transportfehler erneut versuchen.","Die Abrechnung läuft über protokollierte Logs statt über Requests, und Preisseite und Cache-Dokumentation widersprechen sich, ob der 49-Dollar-Tarif Semantic Caching enthält.","Seit der Übernahme im Mai 2026 wird es als Gateway innerhalb von Prisma AIRS ausgeliefert, was den Vertragspartner ändert, nicht aber die API.",[100,103,106,109],{"q":101,"a":102},"Was ist Portkey und was macht ein LLM-Gateway wirklich?","Ein LLM-Gateway ist ein Proxy zwischen der Anwendung und den aufgerufenen Modellanbietern. Portkeys Gateway verlagert Anbieterschlüssel, Retries, Fallbacks, gewichtetes Routing, Caching, Guardrails und Kostenattribution in JSON-Konfigurationen, die an einem Request hängen. Ein OpenAI-kompatibler Client funktioniert dadurch weiter, während die Routing-Politik im Dashboard statt in einem Deployment geändert wird.",{"q":104,"a":105},"Fügt Portkey Latenz zu Modellaufrufen hinzu?","Bei der gehosteten Variante ja. Portkeys eigenes Benchmark-Repository misst im Durchschnitt plus 93 ms und im Median plus 25 ms für das Cloud-Gateway gegenüber einem direkten Bedrock-Aufruf und nennt 50 bis 150 ms als typisch für die zwei zusätzlichen Hops. Selbst gehostet ist die Zahl eine andere: Das Gateway-Repository nennt unter 1 ms Verarbeitungszeit.",{"q":107,"a":108},"Ist Portkey Open Source?","Das Gateway ist MIT-lizenziert und startet mit einem einzigen npm-Befehl; das veröffentlichte Paket steht derzeit bei Version 1.15.2, ein 2.0-Pre-Release-Zweig ist in Arbeit. Control Plane, Dashboard, Model Catalog und die Enterprise-Deployment-Optionen sind kommerziell. Das selbst betriebene Proxy ist nicht das verwaltete Produkt.",{"q":110,"a":111},"Portkey oder LiteLLM?","LiteLLM ist MIT-lizenziert ohne Managed-Tarif und gewinnt damit bei Kosten und bei Daten, die im eigenen Netz bleiben; die Dashboards baut man selbst. Portkey gewinnt, wenn Routing-Politik, Guardrails und gespeicherte Zugangsdaten in einem fremdbetriebenen Produkt liegen sollen, und man 49 Dollar pro Monat für 100.000 protokollierte Logs plus 9 Dollar je weitere 100.000 akzeptiert.",[113,116,119,122,124,127,130,133],{"id":114,"title":115},"what-it-is","Was es ist",{"id":117,"title":118},"how-it-works","Wie es funktioniert",{"id":120,"title":121},"getting-started","Erste Schritte",{"id":123,"title":10},"guardrails",{"id":125,"title":126},"pricing-and-latency","Preis und Latenz",{"id":128,"title":129},"where-it-shingles","Wo es nicht passt",{"id":131,"title":132},"verdict","Urteil",{"id":134,"title":135},"sources","Quellen",[137,141,144,147,150,189,190,193,202,205,208,210,217,218,221,223,230,237,238,241,259,265,266,269,307,310,313,351,356,359,360,363,409,412,413,416,431,437,438],{"type":138,"content":139},"paragraph",[140],"Portkey ist ein LLM-Gateway: ein Proxy zwischen einer Anwendung und den Modellanbietern, die sie aufruft, der Anbieterschlüssel, Retries, Fallbacks, Caching, Guardrails und Kostenattribution in Konfigurationsobjekte statt in Anwendungscode übersetzt. Es ist eines der vollständigsten Gateways am Markt, und seit Palo Alto Networks die Übernahme von Portkey im Mai 2026 abgeschlossen hat, liefert es zugleich als Gateway innerhalb von Prisma AIRS. Die Position: die Routing-Schicht ist die stärkste ihrer Klasse und die operative Abhängigkeit wert, während beim gehosteten Betrieb und bei der Guardrail-Semantik die caveats liegen.",{"type":138,"content":142},[143],"Ersetzt wird der selbstgebaute Retry-Wrapper, den jedes Team im ersten Monat eines LLM-Produkts schreibt: meist ein try-Block mit Sleep, ein fest verdrahteter Anbieterschlüssel und keine Aufzeichnung der entstandenen Kosten. Portkey legt das hinter eine einzige OpenAI-kompatible Basis-URL, sodass OpenAI-SDK, Anthropic-SDK, LangChain oder ein roher fetch-Aufruf denselben Endpunkt sprechen. Der Wettbewerb sind LiteLLM, kostenlos und selbst gehostet, OpenRouter, ein bezahlter Marktplatz statt einer Control Plane, und Cloudflare AI Gateway, das fast nichts kostet, weil es auf Infrastruktur läuft, die die meisten Teams ohnehin bezahlen.",{"type":145,"level":146,"id":114,"text":115},"heading",2,{"type":138,"content":148},[149],"Portkey sind im Grunde zwei Produkte in einem Repository. Das Gateway selbst ist ein MIT-lizenzierter Node-Proxy, der mit einem Befehl startet und auf Port 8787 mit angeschlossener lokaler Konsole läuft; die Control Plane darum ist ein bezahlter Dienst, der Zugangsdaten speichert, die Konfigurationsoberfläche hostet und die Logs führt. Diese Trennung erklärt das meiste. Was der Proxy tut, ist gut dokumentiert und kostenlos, und was die Control Plane tut, ist der Ort, an dem Preis, Guardrail-Katalog und Compliance-Story liegen.",{"type":151,"ordered":152,"items":153},"list",false,[154,169,171,177,183,185,187],[155,156,160,161,164,165,168],"Startet mit einem Befehl, ",{"tag":157,"children":158},"code",[159],"npx @portkey-ai\u002Fgateway",", läuft auf ",{"tag":157,"children":162},[163],"localhost:8787"," mit einer Konsole unter ",{"tag":157,"children":166},[167],"\u002Fpublic\u002F",".",[170],"MIT-lizenziert mit rund 13.100 GitHub-Sternen und 1.300 Forks; das veröffentlichte npm-Paket steht bei Version 1.15.2, ein 2.0-Pre-Release-Zweig ist in Arbeit.",[172,173,176],"Ein OpenAI-kompatibler Endpunkt, dazu Anthropics ",{"tag":157,"children":174},[175],"\u002Fv1\u002Fmessages"," und das Open-Responses-Format. Nur der Modell-String ändert sich, wenn der Anbieter es tut.",[178,179,182],"Modell-Strings tragen den Anbieter mit: ",{"tag":157,"children":180},[181],"@openai-prod\u002Fgpt-4o"," löst auf eine gespeicherte Integration auf, samt Budget und Rate-Limit.",[184],"Strategieobjekte verschachteln sich. Ein Fallback kann einen Load Balancer enthalten, der ein weiteres Fallback enthält, jedes mit eigenen Gewichten, Statuscode-Auslösern und Circuit Breaker.",[186],"Guardrails prüfen Eingaben und Ausgaben, entweder asynchron ohne zusätzliche Latenz oder synchron mit dokumentierten Deny-Codes 246 und 446.",[188],"Seit Mai 2026 im Besitz von Palo Alto Networks und als Prisma AIRS AI Gateway im Verkauf, allgemein verfügbar seit 16. Juli 2026.",{"type":145,"level":146,"id":117,"text":118},{"type":138,"content":191},[192],"Ein Request kommt mit Portkey-API-Key und meist einer Config an. Die Config benennt eine Strategie und eine Liste von Zielen. Das Gateway löst jedes Ziel auf eine gespeicherte Anbieter-Integration auf, wendet Caches und Guardrails nach Vorgabe der Config an, leitet an den gewählten Anbieter weiter und schreibt eine Log-Zeile mit Latenz, Token-Zahlen und Kosten. Der Unterschied zu einem selbstgebauten Proxy liegt nicht im Weiterleiten, sondern darin, dass die Entscheidung Daten sind: dasselbe JSON läuft unverändert im gehosteten Produkt, im Open-Source-Proxy und in einer selbst betriebenen Data Plane.",{"type":194,"attrs":195,"inner":199,"caption":200},"diagram",{"viewBox":196,"role":197,"aria-labelledby":198},"0 0 620 300","img","pk-flow-t pk-flow-d","\u003Ctitle id=\"pk-flow-t\">Ein Request durch das Portkey-Gateway\u003C\u002Ftitle>\u003Cdesc id=\"pk-flow-d\">Eine Anwendung sendet einen OpenAI-kompatiblen Request an das Portkey-Gateway. Das Gateway wendet die angehängte Config an und verteilt den Request mit Retry, Fallback und gewichtetem Routing auf einen von drei Anbietern. Ein Guardrail-Ergebnis wird synchron geprüft und liefert 246 oder 446. Jeder Aufruf schreibt eine Log-Zeile mit Latenz, Token und Kosten.\u003C\u002Fdesc>\u003Cdefs>\u003Cmarker id=\"ah-pk\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head\" \u002F>\u003C\u002Fmarker>\u003Cmarker id=\"ah-pk-a\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head-accent\" \u002F>\u003C\u002Fmarker>\u003C\u002Fdefs>\u003Crect x=\"20\" y=\"100\" width=\"130\" height=\"64\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"85\" y=\"128\" text-anchor=\"middle\" class=\"d-text\">App\u003C\u002Ftext>\u003Ctext x=\"85\" y=\"150\" text-anchor=\"middle\" class=\"d-small\">OpenAI SDK\u003C\u002Ftext>\u003Crect x=\"200\" y=\"80\" width=\"170\" height=\"104\" rx=\"10\" class=\"d-accent\" \u002F>\u003Ctext x=\"285\" y=\"116\" text-anchor=\"middle\" class=\"d-text\">Portkey Gateway\u003C\u002Ftext>\u003Ctext x=\"285\" y=\"140\" text-anchor=\"middle\" class=\"d-small\">Config, Retry, Cache\u003C\u002Ftext>\u003Ctext x=\"285\" y=\"160\" text-anchor=\"middle\" class=\"d-small\">Guardrail, Log\u003C\u002Ftext>\u003Crect x=\"20\" y=\"230\" width=\"150\" height=\"64\" rx=\"10\" class=\"d-gold\" \u002F>\u003Ctext x=\"95\" y=\"258\" text-anchor=\"middle\" class=\"d-text\">Guardrail\u003C\u002Ftext>\u003Ctext x=\"95\" y=\"280\" text-anchor=\"middle\" class=\"d-small\">246, oder 446\u003C\u002Ftext>\u003Crect x=\"200\" y=\"230\" width=\"170\" height=\"64\" rx=\"10\" class=\"d-sky\" \u002F>\u003Ctext x=\"285\" y=\"258\" text-anchor=\"middle\" class=\"d-text\">Logs\u003C\u002Ftext>\u003Ctext x=\"285\" y=\"280\" text-anchor=\"middle\" class=\"d-small\">Kosten, Latenz\u003C\u002Ftext>\u003Crect x=\"450\" y=\"40\" width=\"140\" height=\"56\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"520\" y=\"74\" text-anchor=\"middle\" class=\"d-text\">OpenAI\u003C\u002Ftext>\u003Crect x=\"450\" y=\"126\" width=\"140\" height=\"56\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"520\" y=\"160\" text-anchor=\"middle\" class=\"d-text\">Anthropic\u003C\u002Ftext>\u003Crect x=\"450\" y=\"212\" width=\"140\" height=\"56\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"520\" y=\"246\" text-anchor=\"middle\" class=\"d-text\">Bedrock\u003C\u002Ftext>\u003Cpath d=\"M150 132H198\" class=\"d-line-accent\" marker-end=\"url(#ah-pk-a)\" \u002F>\u003Cpath d=\"M370 104H400V68H448\" class=\"d-line\" marker-end=\"url(#ah-pk)\" \u002F>\u003Cpath d=\"M370 132H448\" class=\"d-line\" marker-end=\"url(#ah-pk)\" \u002F>\u003Cpath d=\"M370 160H400V240H448\" class=\"d-line\" marker-end=\"url(#ah-pk)\" \u002F>\u003Ctext x=\"402\" y=\"120\" text-anchor=\"middle\" class=\"d-label\">Retry, Fallback\u003C\u002Ftext>\u003Cpath d=\"M250 184V210H95V228\" class=\"d-line d-dash\" marker-end=\"url(#ah-pk)\" \u002F>\u003Ctext x=\"95\" y=\"204\" text-anchor=\"middle\" class=\"d-label\">sync\u003C\u002Ftext>\u003Cpath d=\"M320 184V228\" class=\"d-line d-dash\" marker-end=\"url(#ah-pk)\" \u002F>\u003Ctext x=\"376\" y=\"204\" text-anchor=\"middle\" class=\"d-label\">jeder Call\u003C\u002Ftext>",[201],"Ein Request durch das Gateway: die Config bestimmt das Ziel, ein synchroner Guardrail kann mit 246 oder 446 ablehnen, und jeder Aufruf wird mit Latenz, Token und Kosten protokolliert.",{"type":138,"content":203},[204],"Der interessante Zweig ist der Guardrail. Läuft er asynchron, was der Standard ist, prüft er parallel zum Modellaufruf, das Ergebnis wird nur protokolliert, und der Statuscode des Anbieters kommt unverändert zurück. Läuft er synchron, blockiert die Prüfung: bei Bestehen 200, bei Fehlschlag 246, wenn deny aus ist, und 446, wenn es an ist. Beide Codes liegen außerhalb dessen, wofür eine Client-Bibliothek geschrieben wurde. Eine Bibliothek, die jeden Status außer 200 als Erfolg wertet, akzeptiert ein 246 stillschweigend, das eigentlich markiert werden sollte; eine, die alles außerhalb von 2xx als Ausnahme behandelt, wirft bei 446 und wiederholt es, als wäre das Netzwerk ausgefallen. Das ist die schärfste Kante im Produkt.",{"type":138,"content":206},[207],"Die andere Hälfte ist das Config-Objekt. Sein Schema ist geschlossen, mit einer festen Enum von vier Strategiemodi, single, loadbalance, fallback und conditional, und einem festen Schlüsselsatz, sodass ein Tippfehler abgelehnt und nicht stillschweigend ignoriert wird. Ziele sind selbst wieder Configs, und genau das macht die Strategien kombinierbar.",{"type":157,"code":209},"{\n  \"strategy\": { \"mode\": \"fallback\", \"on_status_codes\": [429, 500, 503] },\n  \"retry\": { \"attempts\": 3, \"use_retry_after_headers\": true },\n  \"cb_config\": { \"failure_threshold\": 5, \"cooldown_interval\": 60000 },\n  \"targets\": [\n    { \"provider\": \"@openai-prod\",\n      \"override_params\": { \"model\": \"gpt-4o\" } },\n    { \"strategy\": { \"mode\": \"loadbalance\" },\n      \"targets\": [\n        { \"provider\": \"@anthropic-prod\", \"weight\": 0.8,\n          \"override_params\": { \"model\": \"claude-sonnet-4-5-20250929\" } },\n        { \"provider\": \"@bedrock-prod\", \"weight\": 0.2,\n          \"override_params\": { \"model\": \"anthropic.claude-3-5-sonnet-20241022-v2:0\" } }\n      ] }\n  ]\n}",{"type":138,"content":211},[212,213,216],"Drei Details verdienen eigene Aufmerksamkeit. Gewichte werden auf 100 normalisiert, und ein Gewicht von null hält ein Ziel in der Config, schickt ihm aber keinen Traffic, womit sich ein Canary pausieren statt löschen lässt. Beim Circuit Breaker hat ",{"tag":157,"children":214},[215],"cooldown_interval"," einen Boden von 30.000 Millisekunden, sodass sich eine Schutzschleife gegen schnelles Flattern nicht in eine enge Retry-Sturm konfigurieren lässt. Und Sticky Routing hasht die benannten Felder mit einer Standard-TTL von einer Stunde, stützt sich aber auf einen zweistufigen Cache aus Memory und Redis und funktioniert ohne Redis nur auf einer Instanz.",{"type":145,"level":146,"id":120,"text":121},{"type":138,"content":219},[220],"SDK installieren, einen Anbieter im Model Catalog anlegen, einen String ändern. Das Portkey-SDK ist eine Obermenge des OpenAI-Clients, eine bestehende Integration braucht daher meist nichts außer Basis-URL und Key.",{"type":157,"code":222},"from portkey_ai import Portkey\n\nclient = Portkey(api_key=\"PORTKEY_API_KEY\")\n\nanswer = client.chat.completions.create(\n    model=\"@openai-prod\u002Fgpt-4o\",              # @provider-slug\u002Fmodel-name\n    messages=[{\"role\": \"user\", \"content\": \"Summarise this ticket in one line.\"}],\n)\nprint(answer.choices[0].message.content)\n\n# Same code, different model: only the string changes\nanswer = client.chat.completions.create(\n    model=\"@anthropic-prod\u002Fclaude-sonnet-4-5-20250929\",\n    max_tokens=512,\n    messages=[{\"role\": \"user\", \"content\": \"Summarise this ticket in one line.\"}],\n)\nprint(answer.choices[0].message.content)",{"type":138,"content":224},[225,226,229],"Zwei Dinge sind wichtig, bevor das in Produktion geht. Der Provider-Slug wird serverseitig aus dem Model Catalog aufgelöst und nicht aus einem Literal im Request, ein falscher Modell-String schlägt also zur Request-Zeit fehl und nicht zur Deploy-Zeit. Und die Config mit Retries, Caching und Guardrails steht nicht im Snippet: Sie hängt entweder als Config-ID am Client oder als JSON-Blob im Header ",{"tag":157,"children":227},[228],"x-portkey-config",", und genau das erlaubt es, Routing-Politik ohne Deploy zu ändern.",{"type":231,"variant":232,"title":233,"body":234},"callout","warn","Config-Änderungen sind Produktionsänderungen",[235],[236],"Eine im Dashboard geänderte Config ist Produktionsverhalten ohne Pull Request dahinter. Das JSON versionieren, vor jeder Änderung diffen und eine bekannte gute Kopie aufbewahren, denn eine fehlerhafte Fallback-Kette fällt je nach falschem Feld entweder offen oder geschlossen aus.",{"type":145,"level":146,"id":123,"text":10},{"type":138,"content":239},[240],"Guardrails sind Prüfungen, die an einem Request hängen und auf Eingabe, Ausgabe oder beides angewandt werden. Sie sind der am ehesten falsch konfigurierte Teil von Portkey, unter anderem weil die Funktionsliste breiter klingt als das Verhalten. Die Dokumentation ist bei den Grenzen ungewöhnlich explizit, was die Grenzen zumindest auffindbar macht.",{"type":151,"ordered":152,"items":242},[243,245,247,249,255,257],[244],"Ausgewertet wird nur die letzte Nachricht im Request, und davon nur die Textanteile. Bilddaten, base64 oder URL, werden gar nicht geprüft.",[246],"Guardrails laufen nicht auf den Endpunkten für Assistants, Audio, Images, Files, Batch, Fine-tuning, Moderations oder Models. Sie laufen auf Chat Completions, Completions, Embeddings mit nur Eingabe, Messages, Responses und Prompt-Completions.",[248],"Output-Guardrails auf einer gestreamten Antwort sind rein informativ: Das Ergebnis kommt als abschließendes Chunk nach dem Done-Marker und löst weder Fallback noch Retry aus.",[250,251,254],"Um Hook-Ergebnisse in einem Stream überhaupt zu sehen, muss die strikte OpenAI-Konformität mit dem Header ",{"tag":157,"children":252},[253],"x-portkey-strict-open-ai-compliance"," abgeschaltet werden, weil sie sie standardmäßig entfernt.",[256],"Die Stufen folgen dem Tarif: einfache Prüfungen im Developer-Tarif, einfache plus Partner- und Pro-Prüfungen in Production, alles inklusive eigener im Enterprise-Tarif. Die meisten Prüfungen sind deterministisch, Regex, JSON-Schema, Wort- und Zeichenzählung, darüber hinaus LLM-basierte Prüfungen wie Prompt-Injection-Scanning.",[258],"Partner-Guardrails gibt es, darunter Aporia, Pillar Security, SydeLabs, Zscaler AI Guard und Akto, jeweils über HTTP mit eigenem Timeout: 10.000 ms für Zscaler, 5.000 ms für Akto.",{"type":138,"content":260},[261,262,264],"Der Anthropic-Pfad hat eine weitere Stolperfalle. Unter ",{"tag":157,"children":263},[175]," kommen die Hook-Ergebnisse als eigenes Event, das das Anthropic-SDK nicht parst; sie zu lesen bedeutet, auf cURL zurückzufallen. Solche kleine Inkonsistenzen entscheiden, ob ein Feature genutzt oder still ignoriert wird, und es lohnt sich, das gegen das eigene SDK zu prüfen, bevor man eine Control auf Guardrail-Basis aufsetzt.",{"type":145,"level":146,"id":125,"text":126},{"type":138,"content":267},[268],"Bei der Latenz laufen Marketing und Messung auseinander. Für dasselbe Produkt existieren drei Zahlen, und sie beschreiben nicht dasselbe. Deshalb nennt die folgende Tabelle zu jeder Zahl ihre Quelle, statt die schmeichelhafteste zu wählen.",{"type":270,"head":271,"rows":278},"table",[272,274,276],[273],"Zahl",[275],"Quelle",[277],"Was sie misst",[279,286,293,300],[280,282,284],[281],"Unter 1 ms",[283],"README des Gateway-Repositories",[285],"Die Verarbeitungszeit des selbst gehosteten Proxys, nicht der gehostete Round-Trip",[287,289,291],[288],"Unter 10 ms bei 99,9999 % Verfügbarkeit",[290],"Anbieter-Blog, Oktober 2025",[292],"Eine Hosting-Behauptung für 10 Milliarden Requests pro Monat, ohne veröffentlichte Methodik",[294,296,298],[295],"Plus 93 ms Durchschnitt, plus 25 ms Median",[297],"Portkeys eigenes Benchmark-Repository",[299],"Das Cloud-Gateway gegenüber einem direkten Bedrock-Aufruf, zwei Worker, drei Requests je Iteration",[301,303,305],[302],"Typischerweise 50 bis 150 ms",[304],"Dasselbe Repository, Abschnitt Overhead",[306],"Was der Anbieter selbst die Round-Trip-Kosten der zwei zusätzlichen Netzwerk-Hops nennt",{"type":138,"content":308},[309],"Die ehrliche Lesart ist, dass die beiden Zahlen zwei Produkte beschreiben. Unter 1 ms ist die Verarbeitungszeit des Open-Source-Proxys, was wirklich gut ist und das Hauptargument für den Selbstbetrieb liefert. Unter 10 ms ist eine Hosting-Behauptung ohne Methodik. Die plus 93 ms sind die einzige Zahl mit lauffähiger Testumgebung daneben, und dasselbe Repository nennt 50 bis 150 ms als typisch. Gegenüber 400 ms bis zum ersten Token ist das unsichtbar, gegenüber einem 90-ms-Autocomplete- oder Sprachpfad ist es das gesamte Budget. Also auf dem eigenen Traffic messen, nicht von der Preisseite übernehmen.",{"type":138,"content":311},[312],"Zum Preis: abgerechnet wird über protokollierte Logs statt über Requests. Das ist ungewöhnlich und meist unkritisch, denn der Gratis-Tarif liefert nach der Log-Grenze weiter aus und protokolliert nur nicht mehr. In den bezahlten Tarifen wird es relevant, weil die Zusatzmenge je 100.000 Requests auf eine Log-Erlaubnis obendrauf berechnet wird.",{"type":270,"head":314,"rows":323},[315,317,319,321],[316],"Tarif",[318],"Preis",[320],"Protokollierte Logs",[322],"Aufbewahrung und Umfang",[324,333,342],[325,327,329,331],[326],"Developer",[328],"Kostenlos",[330],"10.000 pro Monat",[332],"3 Tage für Logs, 30 für Metriken; 3 Prompt-Vorlagen; deterministische Guardrails; Community-Support; Requests laufen über die Grenze hinaus weiter",[334,336,338,340],[335],"Production",[337],"49 Dollar pro Monat",[339],"100.000, dann 9 Dollar je weitere 100.000",[341],"30 Tage für Logs, 90 für Metriken; rollenbasierte Zugriffssteuerung, Service-Account-Keys, LLM- und Partner-Guardrails, Semantic Caching, Produktions-Support",[343,345,347,349],[344],"Enterprise",[346],"Auf Anfrage",[348],"10 Millionen oder mehr",[350],"Individuelle Aufbewahrung; Private Cloud und VPC-Hosting, SSO, Datenexport, SOC 2 Type 2, GDPR und HIPAA, Datentrennung",{"type":231,"variant":232,"title":352,"body":353},"Preis- und Cache-Dokumentation widersprechen sich",[354],[355],"Die Tarifvergleichstabelle führt einfaches und semantisches Caching unter dem 49-Dollar-Tarif Production, während die Cache-Dokumentation sagt, Semantic Caching erfordere eine Vektordatenbank und sei nur in ausgewählten Enterprise-Tarifen verfügbar. Das sollte geklärt werden, bevor ein Kostenmodell auf Semantic-Cache-Trefferquoten aufgebaut wird.",{"type":138,"content":357},[358],"Im Enterprise-Tarif wird daraus ein anderes Produkt: eine Data Plane in der eigenen VPC, Helm-Charts auf Kubernetes 1.20 oder neuer, ein bis zwei Kerne und zwei bis vier Gigabyte Speicher pro Instanz, Logs in S3-kompatiblem Object Storage oder MongoDB, und eine Control Plane, von der das Gateway einmal pro Minute synchronisiert, während es Configs und Schlüssel sieben Tage lokal cacht. Die Dokumentation empfiehlt eine volatile-lru-Verdrängungsstrategie, damit aktive Konfiguration bei Speicherdruck überlebt. Das ist ein Betrieb, den man führen muss, kein Container, den man vergessen kann.",{"type":145,"level":146,"id":128,"text":129},{"type":138,"content":361},[362],"Zuerst die ehrlichen Schwächen, denn sie schließen das Werkzeug für ganze Gruppen von Teams aus. Ein gehostetes Gateway ist ein Single Point of Failure und eine einzige Mandantengrenze für jeden Request einer Anwendung, und auf der Statusseite stehen durchaus Control-Plane-Vorfälle, darunter zwei im August 2026 mit 40 Minuten und zwei Stunden. Semantic Caching hängt an einer Enterprise-Absprache, das kostensparende Feature, mit dem Teams in ihrem Business Case argumentieren, haben sie also nicht. Das Guardrail-Modell liest immer nur die letzte Nachricht und ist damit keine Prompt-Injection-Abwehr für multimodale Konversationen. Und die Config liegt in einem SaaS-Dashboard, womit die Routing-Politik eines Systems nicht mehr in dem Repository reviewbar ist, das das System besitzt.",{"type":270,"head":364,"rows":373},[365,367,369,371],[366],"Werkzeug",[368],"Lizenz und Kosten",[370],"Wo es läuft",[372],"Was es nicht kann",[374,382,391,400],[375,376,378,380],[24],[377],"MIT-Gateway, Control Plane ab 49 Dollar",[379],"Anbieter-Cloud, oder eigene VPC im Enterprise-Tarif",[381],"Liest nie Bilddaten; Semantic Cache im gehosteten Plan nur für Enterprise",[383,385,387,389],[384],"LiteLLM",[386],"MIT, Selbstbetrieb kostenlos, Enterprise nach Request-Volumen bepreist",[388],"Nur eigene Infrastruktur",[390],"Kein Managed-Tarif, also keine verwalteten Dashboards, geteilten Guardrails oder Credential-Vault",[392,394,396,398],[393],"OpenRouter",[395],"Zahlung pro Token, 5,5 Prozent Plattformgebühr auf Creditkäufe",[397],"Ihre Cloud",[399],"Kein selbst hostbares Gateway; BYOK erst über 25.000 Dollar Listenpreis-Inferenz pro Monat",[401,403,405,407],[402],"Cloudflare AI Gateway",[404],"Kernfunktionen in jedem Tarif kostenlos, Guardrails als Workers-AI-Inferenz abgerechnet",[406],"Cloudflare-Edge, braucht den Workers-Paid-Tarif bei Volumen",[408],"Guardrail-Prüfungen sind Llama Guard 3 8B auf Workers AI, ohne eigene Prüflogik",{"type":138,"content":410},[411],"Die Wahl ist damit weniger eine Feature- als eine Ortsfrage: Wo soll die Politik liegen? Gehören die Routing-Regeln in die Versionsverwaltung neben dem Code, gewinnt LiteLLM in jeder Dimension einschließlich der Kosten. Soll ein Security-Team sie ändern können, sollen Zugangsdaten nie in einer Anwendungsumgebung liegen, oder läuft man in einer regulierten Umgebung, die ohnehin Palo Alto Networks einkauft, spricht für Portkeys Control Plane. Cloudflare AI Gateway ist die dritte Option, die man durchrechnen sollte: Kernfunktionen sind in jedem Tarif kostenlos und die Kosten sind Inferenz statt Plattform, was die Rechnung bei wenig Verkehr umdreht.",{"type":145,"level":146,"id":131,"text":132},{"type":138,"content":414},[415],"Portkey ist das vollständigste verwaltete LLM-Gateway am Markt, und allein das Config-Objekt ist ein besseres Design als die meisten selbstgebauten Entsprechungen: verschachtelbare Strategien, geschlossenes Schema, ein harter Boden beim Cooldown des Circuit Breakers. Es lohnt sich, wenn Routing-Politik ein Governance- statt ein Codierungsproblem ist, und man akzeptiert dabei sowohl den Netzwerk-Hop als auch die Tatsache, dass die Routing-Konfiguration nun anderswo liegt als im eigenen Repository. Der polemische Teil: das ist das richtige Standardangebot für Unternehmen und das falsche für ein kleines Team, dem der Gratis-Tarif des Open-Source-Proxys oder LiteLLM mit einem Wochenende Verkabelung besser dient.",{"type":151,"ordered":417,"items":418},true,[419,421,423,425,427,429],[420],"Portkey nehmen, wenn mehrere Teams Modell-Zugangsdaten teilen und jemand zentral Budgets, Allow-Lists und Rate-Limits verantworten muss. Das ist die eigentliche Aufgabe des Produkts.",[422],"Es nehmen, wenn ein Security-Team Guardrails ändern und vollständige Request-Logs ohne Deploy einsehen können muss.",[424],"Nicht nehmen für latenzkritische Completion- oder Sprachpfade, bevor der Hop auf dem eigenen Traffic gemessen ist, denn die veröffentlichte Zusatzzeit liegt bei zweistelligen Millisekunden, die Marketing-Zahl nicht.",[426],"Nicht auf Guardrails als Prompt-Injection-Kontrolle für multimodale Verkehr bauen. Sie lesen das Bild nie und nur die letzte Nachricht.",[428],"Weglassen, wenn die Routing-Politik im Code-Review geprüft werden muss. Diese Config gehört ins Repository, und LiteLLM oder das Open-Source-Gateway sind die besseren Werkzeuge.",[430],"Neu bewerten, sobald die Control Plane zum Engpass wird: bei diesem Volumen ist ein Gateway auf Cloudflare oder ein eigener Proxy in der eigenen VPC billiger und einfacher als der Enterprise-Tarif.",{"type":231,"variant":432,"title":433,"body":434},"note","Die Zahl, die vor dem Kauf zu prüfen ist",[435],[436],"Verlangen Sie die Zusatzzeit, gemessen zwischen Ihrer Region und der Anbieterregion, die Sie tatsächlich nutzen, bei einem Request-Format, das Ihrer Time to First Token entspricht. Portkeys eigenes Repository veröffentlicht genau dafür eine Testumgebung, und sie liefert eine deutlich schlechtere Zahl als die Startseite.",{"type":145,"level":146,"id":134,"text":135},{"type":151,"ordered":417,"items":439},[440,445,449,453,457,461,465,469,473,477,481,485,489,493,496,500,504],[441],{"tag":442,"href":32,"children":443},"a",[444],"Portkey-Doku: AI Gateway",[446],{"tag":442,"href":35,"children":447},[448],"Portkey-Doku: Erste Schritte mit dem AI Gateway",[450],{"tag":442,"href":38,"children":451},[452],"Portkey-Doku: Gateway-Config-Objekt",[454],{"tag":442,"href":41,"children":455},[456],"Portkey-Doku: Guardrails",[458],{"tag":442,"href":44,"children":459},[460],"Portkey-Doku: Guardrail-Endpunkte und Fähigkeiten",[462],{"tag":442,"href":47,"children":463},[464],"Portkey-Doku: Cache, einfach und semantisch",[466],{"tag":442,"href":50,"children":467},[468],"Portkey-Doku: Load Balancing",[470],{"tag":442,"href":53,"children":471},[472],"Portkey-Doku: Architektur des hybriden Enterprise-Deployments",[474],{"tag":442,"href":56,"children":475},[476],"Portkey-Preise",[478],{"tag":442,"href":59,"children":479},[480],"Portkey-Gateway auf GitHub, MIT-lizenziert",[482],{"tag":442,"href":62,"children":483},[484],"Portkeys eigener Benchmark: Gateway gegenüber direktem Bedrock",[486],{"tag":442,"href":65,"children":487},[488],"Portkey-Statusseite",[490],{"tag":442,"href":68,"children":491},[492],"Palo Alto Networks schließt die Übernahme von Portkey ab, Mai 2026",[494],{"tag":442,"href":71,"children":495},[70],[497],{"tag":442,"href":74,"children":498},[499],"Preise der Cloudflare AI Gateway",[501],{"tag":442,"href":77,"children":502},[503],"LiteLLM-Preise",[505],{"tag":442,"href":80,"children":506},[507],"OpenRouter-Preise",[509,557,619,661],{"slug":510,"published":511,"minutes":6,"category":7,"tags":512,"keywords":518,"about":525,"sources":529,"cover":548,"og":549,"expertise":83,"locales":550,"lang":86,"title":551,"description":552,"coverAlt":553,"url":554,"pricing":555,"kind":556},"ollama","2026-09-29",[513,514,515,516,517],"Local inference","Open models","llama.cpp","GGUF","Model serving",[510,519,520,521,522,523,524],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[526],{"name":527,"url":528},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[530,533,536,539,542,545],{"title":531,"url":532},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":534,"url":535},"Ollama on GitHub, with the MIT LICENSE file","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":537,"url":538},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":540,"url":541},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":543,"url":544},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":546,"url":547},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg",[85,86,87],"Ollama im Test: der freundliche Weg zu offenen Modellen","Ollama liefert offene Modelle über eine HTTP-API auf eigener Hardware aus. Was es gut macht, wo der Durchsatz zu kurz kommt, was die MIT-Lizenz nicht abdeckt.","Abstrakte Titelgrafik für den Ollama-Test","https:\u002F\u002Follama.com","MIT · free for personal use","Local inference runtime",{"slug":558,"published":559,"minutes":560,"category":7,"tags":561,"keywords":567,"about":575,"sources":587,"cover":612,"og":613,"expertise":83,"locales":614,"lang":86,"title":615,"description":616,"coverAlt":617,"url":578,"pricing":618,"kind":562},"langfuse","2026-08-13",10,[562,563,564,565,566],"LLM observability","Tracing","OpenTelemetry","Self-hosting","Evaluation",[558,568,569,570,571,572,573,574],"langfuse vs langsmith","llm tracing tool","self-hosted llm observability","langfuse pricing","opentelemetry llm traces","llm cost tracking","prompt versioning",[576,579,581,584],{"name":577,"url":578},"Langfuse","https:\u002F\u002Flangfuse.com",{"name":564,"url":580},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":582,"url":583},"ClickHouse","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FClickHouse",{"name":585,"url":586},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",[588,591,594,597,600,603,606,609],{"title":589,"url":590},"Langfuse documentation: observability and application tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Foverview",{"title":592,"url":593},"Langfuse documentation: get started with tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Fget-started",{"title":595,"url":596},"Langfuse pricing: cloud plans, billable units and worked examples","https:\u002F\u002Flangfuse.com\u002Fpricing",{"title":598,"url":599},"Langfuse pricing: self-hosted plans and the feature comparison","https:\u002F\u002Flangfuse.com\u002Fpricing-self-host",{"title":601,"url":602},"Self-host Langfuse: deployment options, containers and storage services","https:\u002F\u002Flangfuse.com\u002Fself-hosting",{"title":604,"url":605},"Langfuse changelog: v4 is live (17 August 2026)","https:\u002F\u002Flangfuse.com\u002Fchangelog\u002F2026-08-17-langfuse-v4",{"title":607,"url":608},"Langfuse blog: Langfuse joins ClickHouse (16 January 2026)","https:\u002F\u002Flangfuse.com\u002Fblog\u002Fjoining-clickhouse",{"title":610,"url":611},"GitHub: langfuse\u002Flangfuse, the platform repository","https:\u002F\u002Fgithub.com\u002Flangfuse\u002Flangfuse","\u002Fimages\u002Fblog\u002Flangfuse\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flangfuse\u002Fog.jpg",[85,86,87],"Langfuse-Test: Tracing, Prompts und Evals selbst gehostet","Langfuse legt LLM-Traces, Prompt-Versionen und Experimente auf eine MIT-lizenzierte Plattform. Was das Selbsthosten wirklich kostet, wie die Einheitspreise rechnen und wo es verliert.","Eine Pipeline vom gebündelten Application-Event über den Langfuse-Web-Container und den Object Storage in ClickHouse, mit Redis und PostgreSQL daneben.","MIT · paid from $59 per month",{"slug":620,"published":621,"minutes":560,"category":7,"tags":622,"keywords":627,"about":634,"sources":637,"cover":653,"og":654,"expertise":83,"locales":655,"lang":86,"title":656,"description":657,"coverAlt":658,"url":659,"pricing":660,"kind":9},"openrouter","2026-07-23",[9,623,624,625,626],"Model routing","Fallbacks","OpenAI-compatible","Pay per token",[620,628,17,629,630,631,632,633],"openrouter vs litellm","openrouter pricing","openai compatible api gateway","llm fallback routing","multi model api gateway","byok llm routing",[635],{"name":393,"url":636},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenRouter",[638,641,642,645,648,651],{"title":639,"url":640},"OpenRouter documentation: quickstart","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fquickstart",{"title":79,"url":80},{"title":643,"url":644},"OpenRouter documentation: model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":646,"url":647},"OpenRouter documentation: provider routing","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fprovider-selection",{"title":649,"url":650},"OpenRouter documentation index","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fllms.txt",{"title":652,"url":636},"Wikipedia: OpenRouter","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fog.jpg",[85,86,87],"OpenRouter: ein API-Schlüssel vor jedem Modell im Katalog","OpenRouter packt 500+ Modelle von 80+ Anbietern hinter einen OpenAI-kompatiblen Endpunkt, mit Fallbacks und Weiterverrechnung zum Listenpreis. Kosten und Schwächen.","Anfragepfad durch OpenRouter: Client, Router, mögliche Anbieter, Fallback-Liste und das Modell, das tatsächlich antwortet.","https:\u002F\u002Fopenrouter.ai","Pay per token, no subscription",{"slug":662,"published":663,"minutes":560,"category":7,"tags":664,"keywords":668,"about":675,"sources":683,"cover":707,"og":708,"expertise":83,"locales":709,"lang":86,"title":710,"description":711,"coverAlt":712,"url":678,"pricing":713,"kind":714},"braintrust","2026-07-07",[665,12,666,667,563],"Evaluations","LLM-as-a-judge","CI gates",[662,669,670,671,672,673,674],"braintrust pricing","braintrust eval","autoevals library","braintrust vs langfuse","llm evaluation platform","eval driven development",[676,679,682],{"name":677,"url":678},"Braintrust","https:\u002F\u002Fwww.braintrust.dev",{"name":680,"url":681},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",{"name":585,"url":586},[684,687,690,693,696,699,702,704],{"title":685,"url":686},"Braintrust pricing: plans, credits and usage rates","https:\u002F\u002Fwww.braintrust.dev\u002Fpricing",{"title":688,"url":689},"Braintrust documentation: plans and limits","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs\u002Fplans-and-limits",{"title":691,"url":692},"Braintrust documentation: evaluation quickstart","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs\u002Fevaluation-quickstart",{"title":694,"url":695},"Braintrust documentation: get started","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs",{"title":697,"url":698},"GitHub: Braintrust organisation repositories","https:\u002F\u002Fgithub.com\u002Forgs\u002Fbraintrustdata\u002Frepositories",{"title":700,"url":701},"Arize Phoenix documentation: self-hosting","https:\u002F\u002Farize.com\u002Fdocs\u002Fphoenix\u002Fself-hosting",{"title":703,"url":596},"Langfuse pricing: cloud plans and billable units",{"title":705,"url":706},"LangChain pricing: LangSmith plans","https:\u002F\u002Fwww.langchain.com\u002Fpricing","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fog.jpg",[85,86,87],"Braintrust im Test: Eval-first Observability mit hartem Zähler","Braintrust macht aus Produktions-Traces Datasets und gate-te Experimente. Was Starter und Pro wirklich enthalten, welches Teil quelloffen ist und wo Phoenix, Langfuse und LangSmith gewinnen.","Eine Schleife von instrumentierten Anwendungs-Logs in ein Dataset, ein Experiment mit Scorern und einen Vergleich, der den Pull Request sperrt, bevor die Änderung zurück in die Anwendung geht.","Free · from $249 per month","Evaluation platform",1791383550510]