> Helicone ist eine Apache-2.0-Plattform für LLM-Gateway und Observability. Was die Proxy-Architektur bringt, was sie kostet und wie der selbst gehostete Stack wirklich aussieht. > > Web page: https://balazscsorba.com/de/blog/helicone · Language: Deutsch · Also available in: [English](https://balazscsorba.com/blog/helicone.md) · [Magyar](https://balazscsorba.com/hu/blog/helicone.md) > Author: Balázs Csorba · Published: 2026-07-03 · Keywords: helicone llm observability, helicone vs langfuse, llm cost tracking tool, open source llm observability, llm gateway proxy, self-host llm observability, helicone cache [Blog](https://balazscsorba.com/de/blog)/LLMOps & Evals # Helicone: Observability, die im Request-Pfad sitzt Helicone ist eine Apache-2.0-Plattform für LLM-Gateway und Observability. Was die Proxy-Architektur bringt, was sie kostet und wie der selbst gehostete Stack wirklich aussieht. [Balázs Csorba](https://balazscsorba.com/de/about)·3\. Juli 2026·10 Min. Lesezeit - LLM observability - OpenTelemetry - Cost tracking - Proxy - Gateway ![Eine schmale senkrechte Platte mit Schiene, darin wartende Quadrate und nach rechts austretende.](https://balazscsorba.com/images/blog/helicone/cover.webp?v=8b0ea80397) ## Das Wichtigste in Kürze - Helicone ist Apache-2.0, hat rund 6.200 GitHub-Sterne und bündelt mehr als 100 Modelle hinter einem OpenAI-kompatiblen Endpunkt. - Die Integration ist eine Zeile: eine andere Base-URL, oder der asynchrone OpenLLMetry-Pfad, wenn der Proxy nicht im kritischen Pfad liegen darf. - Der Proxy bringt Caching, Rate-Limits, Fallbacks und Retries — der asynchrone Pfad verzichtet auf all das. - Der Benchmark des Herstellers nennt im Mittel 2,21 Sekunden, direkt wie über den Proxy, gemessen mit 500 verschränkten Anfragen auf text-ada-001. - Selbst hosten bedeutet fünf Komponenten — Web, Worker, Jawn, Supabase und ClickHouse plus MinIO — und Jawn proxyt nicht mehr, das Gateway ist ein eigener Dienst. Auf dieser Seite 1. [Was es ist](https://balazscsorba.com/#what-it-is) 2. [Wie es funktioniert](https://balazscsorba.com/#how-it-works) 3. [Erste Schritte](https://balazscsorba.com/#getting-started) 4. [Proxy oder Async — bewusst wählen](https://balazscsorba.com/#proxy-or-async) 5. [Latenz und die Kosten eines Hops](https://balazscsorba.com/#performance) 6. [Preise und welcher Zähler zählt](https://balazscsorba.com/#pricing) 7. [Den ganzen Stack selbst hosten](https://balazscsorba.com/#self-hosting) 8. [Wo es schwächelt](https://balazscsorba.com/#where-it-shingles) 9. [Urteil](https://balazscsorba.com/#verdict) 10. [Quellen](https://balazscsorba.com/#sources) Diesen Artikel anhören 0:000:00 Helicone ist eine Apache-2.0-lizenzierte Plattform für LLM-Gateway und Observability, und die Position dieses Tests ist, dass die Architektur die ganze Geschichte erzählt: Helicone funktioniert, indem es sich zwischen Anwendung und Modellanbieter stellt. Das kauft für eine geänderte Zeile Code enorm viel Funktionalität und kostet einen Netzwerk-Hopf, eine Frage der Datenlokation und einen Anbieter im kritischen Pfad. Für Teams, die am Montag ein Dashboard brauchen, ist das ein guter Handel. Für Teams mit einem Latenzbudget in Millisekunden oder der Regel, dass Prompts das Netz nicht verlassen dürfen, ist es die falsche Form. Es konkurriert in zwei Richtungen gleichzeitig. Gegenüber reinen Tracing-Backends wie Langfuse, Arize Phoenix und LangSmith gewinnt es beim Time-to-first-Dashboard und bei den Gateway-Funktionen, die am Proxy hängen, und verliert bei OpenTelemetry-nativer Instrumentierung und bei Evaluierungswerkzeugen. Gegenüber API-Routern wie LiteLLM oder OpenRouter ist es Observability zuerst, mit angehängtem Routing. ## Was es ist Zwei Produkte teilen sich eine Codebasis. Das Gateway ist ein OpenAI-kompatibler Endpunkt vor mehr als 100 Anbietern, erreicht durch Zeigen der Base-URL auf ai-gateway.helicone.ai. Die Observability-Plattform ist das, was die hindurchgehenden Anfragen aufzeichnet, in ClickHouse speichert und Fragen zu Kosten, Latenz, Sessions und Nutzern über ein Dashboard, eine SQL-ähnliche Abfragesprache namens HQL, Alerts, Reports und Webhooks beantwortet. - Lizenz Apache 2.0, rund 6.200 GitHub-Sterne, und der Hinweis, dass Helicone 2025 zu Mintlify kam. - Integration in einer Zeile: Base-URL ändern, oder einen asynchronen Log über die OpenLLMetry-Instrumentierung senden. - Kostentracking aus Token-Verbrauch und einer öffentlichen Preisdatenbank mit mehr als 300 Modellen und Anbietern. - Gateway-Funktionen im Request-Pfad: Edge-Cache, eigene Rate-Limits nach Anfragezahl, Kosten oder Property, und automatische Fallbacks. - Operative Oberfläche: Sessions, Nutzermetriken, Custom Properties, Scores, Datensätze, Webhooks und ein MCP-Server über die Daten. - Selbst hosten bedeutet fünf Dienste: ein Web-Frontend, einen Cloudflare Worker, den Jawn-Collector, Supabase und ClickHouse, dazu MinIO für die Inhalte. ## Wie es funktioniert Der Request-Pfad ist absichtlich dünn. Sofern kein Header eine Funktion aktiviert, leitet der Worker die Anfrage unverändert weiter und gibt die Antwort zurück; nach abgeschlossener Antwort schickt der Proxy Logs an Kafka für einen getrennten Dienst. Die Verfügbarkeitsdokumentation benennt die Absicht direkt: Jede Geschäftslogik fällt bei jedem Fehler auf reines Proxying zurück, sodass ein Fehler in der Observability zu einer funktionierenden Weiche heruntergestuft wird. ![Der Helicone-Request-Pfad Obere Zeile: Die Anwendung sendet eine Chat-Completion über das OpenAI-SDK an das Helicone-Gateway, das auf Cloudflare Workers läuft und entweder einen Cache-Treffer ausliefert oder an den Anbieter weiterleitet und die Antwort zurückgibt. Untere Zeile: Nach abgeschlossener Antwort gehen Logs an Kafka und weiter in ClickHouse für Analysen und MinIO für Request- und Response-Bodies, wo Dashboard, HQL, Alerts und Reports lesen. Darunter ein Balken: Der asynchrone Pfad umgeht das Gateway komplett und loggt nach der Antwort aus der Anwendung selbst, und gibt dafür Caching, Rate-Limits und Retries auf. Bei jedem Fehler fällt der Worker auf reines Proxying zurück, sodass Observability zu einer Weiche degradiert.](https://balazscsorba.com/images/blog/helicone/diagram-7.webp?v=249f5d2bc4) Nur im Proxy-Modus liegt das Gateway im kritischen Pfad, das Logging passiert in beiden Modi erst nach der Antwort. Eine Konsequenz ist klar zu sagen: Im Proxy-Modus passieren standardmässig jeder Prompt und jede Antwort ein fremdes Edge-Netz. Die selbst gehostete Instanz beseitigt das, entfernt aber gerade den Teil des Produkts, der Helicone leicht macht, denn ein selbst gehostetes Jawn proxy't nicht mehr — die Dokumentation hält fest, dass die Gateway-Routen entfernt wurden und das AI Gateway separat deployed werden muss. ## Erste Schritte Die gesamte Integration ist eine Base-URL. Das Beispiel schaltet zusätzlich den Edge-Cache ein, der schnellste Weg, die Plattform etwas sichtbar tun zu lassen: Die zweite identische Anfrage kommt aus dem KV-Speicher von Cloudflare statt vom Anbieter. ``` import os from openai import OpenAI client = OpenAI( base_url="https://ai-gateway.helicone.ai", api_key=os.environ["HELICONE_API_KEY"], default_headers={ "Helicone-Cache-Enabled": "true", "Cache-Control": "max-age=3600", "Helicone-Cache-Seed": "user-123", "Helicone-Property-Env": "production", }, ) response = client.chat.completions.create( model="gpt-4o-mini", messages=[{"role": "user", "content": "Summarise the refund policy."}], ) print(response.choices[0].message.content) # The next identical call returns Helicone-Cache: HIT and skips the provider. ``` Der Cache-Key ist ein Hash aus Cache-Seed, Request-URL, dem gesamten Request-Body und den relevanten Headern, also ein exakter Treffer und kein semantischer: ein geändertes Wort oder eine andere Temperatur bedeutet einen Miss. Die Dauer geht von einer Stunde bis maximal 365 Tagen, Buckets bis 20 gespeicherte Antworten gibt es für nicht deterministische Prompts, und Helicone-Cache-Ignore-Keys nimmt Felder wie eine Request-ID oder einen provider-eigenen prompt\_cache\_key aus dem Schlüssel. **Cache-Keys geben Kontext preis** Weil der Schlüssel den Request-Body enthält, leitet sich ein Cache-Key pro Nutzer immer noch aus dem Prompt-Inhalt dieses Nutzers ab, und die Antworten liegen im KV-Speicher von Cloudflare Workers statt in eigener Infrastruktur. Für alles mit Personendaten lieber den Cache auslassen und bewusst entscheiden, ob Helicone überhaupt in den Request-Pfad gehört. ## Proxy oder Async — bewusst wählen Das ist die Entscheidung, die alles andere formt. Helicone dokumentiert beide Modi und ist ungewöhnlich offen über die Lücke zwischen ihnen, was die Wahl nachvollziehbar macht, auch wenn die Antwort selten bequem ist. Fähigkeit Proxy-Modus Async-Modus Im kritischen Pfad ja nein Gateway-Cache und Buckets ja nicht verfügbar Eigene Rate-Limits ja nicht verfügbar Automatische Retries ja nicht verfügbar Automatisches Prompt-Formatting ja nicht verfügbar Einrichtungsaufwand eine Base-URL mit OpenLLMetry instrumentieren Sessions und Nutzermetriken ja ja Custom Properties und Scores ja ja Datenpfad Prompts queren Helicones Edge Prompts bleiben beim Anbieter Wählen, wenn Caching und Rate-Limits zählen Propagationsverzögerung inakzeptabel ist Die vernünftige Schlussfolgerung: das sind zwei Produkte mit einem Namen. Der Proxy ist ein Gateway mit angehängter Analytics; die asynchrone Integration ist eine Logging-Bibliothek mit Web-Oberfläche. Wer den Proxy wählt, bekommt Caching, Rate-Limits und Fallbacks, die man sich sonst selbst bauen müsste, und zahlt mit einem zusätzlichen Hop und einer Datenlokationsentscheidung. Wer den asynchronen Weg wählt, behält Latenzbudget und Netzgrenze und baut das Gateway selbst oder verzichtet darauf. ## Latenz und die Kosten eines Hops Der veröffentlichte Benchmark ist klein, aber ungewöhnlich gut spezifiziert: 500 Anfragen mit eindeutigen Prompts, zwischen OpenAI und Helicone innerhalb desselben Ein-Sekunden-Fensters verschränkt, abwechselnd welcher Endpunkt zuerst gerufen wurde, mit maximalem Prompt-Kontext, auf text-ada-001, Round-Trip-Latenz für beide Mengen protokolliert. Statistik OpenAI direkt (s) Helicone über Proxy (s) Mittelwert 2.21 2.21 Median 2.87 2.90 Standardabweichung 1.12 1.12 p90 3.27 3.29 Maximum 3.56 3.76 Methode 500 verschränkte Anfragen gleiche Prompts, wechselnde Reihenfolge Modell text-ada-001 text-ada-001, maximaler Kontext Overhead Basislinie nur im Maximum sichtbar Durchgeführt von Hersteller Hersteller Lies die Maximum-Zeile genau. 200 Millisekunden Unterschied auf einer dreieinhalbsekündigen Antwort sind 6 Prozent, und derselbe absolute Hop auf einen 300-Millisekunden-Modellaufruf oder einen 40-Millisekunden-Tool-Call würde ihn dominieren. Der Benchmark ist ausserdem ein Herstellertest auf einem abgelösten Modell; er zeigt, dass der Overhead begrenzt ist, nicht wie er für eine konkrete Last ausfällt. **Wohin die Zeit wirklich geht** Das Logging ist nicht der Kostenpunkt. Der Proxy schreibt erst nach der zurückgegebenen Antwort an Kafka, Telemetrie steht also nicht vor dem Nutzer. Der Kostenpunkt ist der Round-Trip zu einem Edge-Standort, der nah am Aufrufer, aber nicht necessarily nah an der Provider-Region liegt — plus die Gateway-Funktionen, die du einschaltest, die definitionsgemäss pro Anfrage Arbeit tun. ## Preise und welcher Zähler zählt Der kostenlose Hobby-Plan umfasst 10.000 Anfragen pro Monat, einen Platz, eine Organisation, ein Gigabyte und sieben Tage Aufbewahrung. Pro kostet 79 $ pro Monat für unbegrenzte Plätze, eine Organisation, Alerts, Reports, HQL, einen Monat Aufbewahrung und 1.000 eingelesene Logs pro Minute. Team kostet 799 $ für fünf Organisationen, SOC 2 und HIPAA, drei Monate Aufbewahrung und 15.000 Logs pro Minute. Enterprise ergänzt unbegrenzte Organisationen, SAML SSO und On-Prem-Betrieb. Die Zahl, auf die es ankommt, preist niemand prominent: die Ingestion. Ein Hobby-Workspace liest 10 Logs pro Minute ein, Pro 1.000, Team 15.000. Eine Produktionsanwendung kann pro Nutzeranfrage mehrere Logs erzeugen — ein Modellaufruf, ein Retrieval-Schritt, ein Tool-Call —, also erschöpft ein mässig beschäftigtes Produkt die Pro-Grenze, bevor es das Anfragekontingent erschöpft, und der Plan, der das behebt, kostet 799 $ pro Monat. Speicher wird über dem ersten Gigabyte separat abgerechnet. PlanPreisAnfragenIngestionAufbewahrung Hobby0 $10.000 pro Monat10 Logs pro Minute7 Tage Pro79 $ pro Monatnutzungsabhängig1.000 Logs pro Minute1 Monat Team799 $ pro Monatnutzungsabhängig15.000 Logs pro Minute3 Monate Enterpriseindividuellnutzungsabhängig30.000 Logs pro Minuteunbegrenzt Plätze 1 unbegrenzt unbegrenzt unbegrenzt Organisationen 1 1 5 unbegrenzt Wichtige Extras nichts HQL, Alerts, Reports SOC 2, HIPAA SAML SSO, On-Prem Selbst hosten gratis gratis gratis Helm-Chart auf Anfrage ## Den ganzen Stack selbst hosten Das Apache-2.0-Repository enthält die komplette Plattform, und das README benennt die Betriebsform direkt: fünf Dienste, und eine manuelle Installation, die es als nicht empfohlen zugunsten der Docker-Compose-Datei oder eines Enterprise-Helm-Charts markiert. - Web: das Dashboard-Frontend, eine Next.js-Anwendung. - Worker: der Proxy, in der gehosteten Version als Cloudflare Workers betrieben. - Jawn: der Log-Sammler, ein Express-Dienst mit Tsoa-generierten Routen. - Supabase: die Anwendungsdatenbank und die Authentifizierung. - ClickHouse: der Analytics-Speicher, der Kosten- und Latenzfragen beantwortet. - MinIO: Objektspeicher für Request- und Response-Bodies. **Zwei Dinge, vor denen die Docs zu Recht warnen** Jawn proxy't nicht mehr: die Gateway-Routen wurden entfernt, eine selbst gehostete Instanz betreibt das AI Gateway also als getrennten Dienst oder gar nicht. Und Port 8585 nimmt Proxy-Anfragen ohne Authentifizierung an, wer ihn erreicht kann also das Guthaben des Anbieters ausgeben — per Firewall einschränken, TLS davorlegen und Volumes für Postgres, ClickHouse und MinIO mounten, sonst löscht ein Neustart die Daten. ## Wo es schwächelt Die ehrlichen Schwächen sind strukturell, nicht kosmetisch. Helicones Datenmodell ist auf Anfragen ausgelegt, die durch sein Gateway gehen; ein Team, das bereits mit OpenTelemetry-Spans traced, muss sich zwischen zwei Instrumentierungsstacks entscheiden. Die Evaluierungsgeschichte ist im Vergleich zu Langfuse oder Braintrust dünn: Prompts, Playground und Scores gibt es, aber keinen ersten-Klasse-Experiments-Workflow. Und die Eigentumsfrage ist offen — Helicone kam 2025 zu Mintlify, was das Open-Core-Lock-in-Risiko nimmt, aber die übliche Anbieterabhängigkeit hinzufügt. Helicone Langfuse Arize Phoenix Lizenz Apache 2.0 MIT-Kern, Enterprise-Extras Elastic License 2.0 Instrumentierung Proxy oder OpenLLMetry OpenTelemetry-nativ OpenInference auf OTel Stärkste Seite Einstieg in einer Zeile, Gateway-Funktionen Evaluierung und Prompt-Workflows lokale, notebook-artige Evaluierung Schwächste Seite nicht OTel-nativ fürs Tracing schwerer zu starten als eine Base-URL ELv2 ist nicht permissiv Gateway-Funktionen Cache, Limits, Fallbacks nein nein Selbst hosten Apache 2.0, fünf Dienste MIT, Docker Compose oder Helm ELv2, selbst hostbar Kostentracking eingebaut pro Modell konfigurierbar separates Produkt Am besten geeignet Teams mit Sichtbarkeit diese Woche Teams, die evaluieren Teams, die lokal traced und evaluiert Langfuse ist MIT-lizenziert, wurde im Januar 2026 von ClickHouse übernommen, wobei Lizenz und Selbst hosten ausdrücklich unverändert bleiben, und speichert Traces ebenfalls in ClickHouse; ist die permissivere Lizenz mit echter Evaluierungsstrecke das entscheidende Kriterium, ist es das stärkere Werkzeug. Arize Phoenix baut auf OpenInference-Konventionen und läuft überall, auch air-gapped, aber die Elastic License 2.0 ist keine permissive. Helicones Argument ist nicht Funktionsumfang, sondern Zeit: Der Weg von einem Repository zu einem Kosten-Dashboard, gemessen in Anfragen pro Nutzer, ist eine Zeile Code. ## Urteil Helicone ist das richtige Werkzeug, wenn niemand sagen kann, was die LLM-Kosten letzten Dienstag waren, und das falsche, wenn Latenz, Datenlokation oder Tracing-Standards die Architektur entscheiden. Seine Ingenieursarbeit ist unspektakulär im besten Sinn: Der Proxy ist dünn, Logs gehen nach der Antwort raus, und das Produkt ist vom Gateway bis zum Dashboard Apache-2.0. Die Schwäche ist ebenso klar: Es will dein Gateway sein, und alles, was es bequem macht, ist eine Folge davon. 1. Nimm es, wenn das Team Kosten, Latenz und Fehler pro Anfrage innerhalb einer Woche braucht und noch keinen Tracing-Stack hat. 2. Nimm es, wenn Edge-Cache, eigene Rate-Limits und automatische Fallbacks im Request-Pfad den Aufpreis wert sind. 3. Nimm den asynchronen OpenLLMetry-Pfad, wenn du Helicones Analytics ohne Proxy-Hop willst, und akzeptiere den Verzicht auf Gateway-Funktionen. 4. Lass es weg, wenn Prompts das Netz nicht verlassen dürfen oder der Proxy-Hop ein hartes Latenzbudget auffrisst. 5. Lass es weg, wenn die Plattform bereits mit OpenTelemetry traced und ein zweites Instrumentierungsmodell die Daten fragmentieren würde. 6. Denk neu darüber nach oberhalb von rund 1.000 eingelesenen Logs pro Minute oder wenn das Anfragekontingent so gross ist, dass der Nutzungszähler eine eigene Budgetzeile braucht. **Das eine, was man messen sollte** Miss vor der Zusage den Gateway-Hop gegen dein eigenes Latenzbudget, mit deinem Modell und deiner Region. Helicone veröffentlicht einen fairen Benchmark, aber ein fairer Benchmark auf text-ada-001 sagt fast nichts über eine 300-Millisekunden-Streaming-Antwort aus einer Region, drei Zeitzonen vom Anbieter entfernt. ## Quellen 1. [Helicone Schnellstart](https://docs.helicone.ai/getting-started/quick-start) 2. [Helicone AI Gateway Überblick](https://docs.helicone.ai/gateway/overview) 3. [Helicone: Latenzwirkung und Benchmark](https://docs.helicone.ai/references/latency-affect) 4. [Helicone: Proxy versus Async](https://docs.helicone.ai/references/proxy-vs-async) 5. [Helicone: LLM-Caching](https://docs.helicone.ai/features/advanced-usage/caching) 6. [Helicone: Selbst hosten mit Docker](https://docs.helicone.ai/getting-started/self-deploy-docker) 7. [Helicone: Kostenberechnung](https://docs.helicone.ai/faq/how-we-calculate-cost) 8. [Helicone Preise](https://www.helicone.ai/pricing) 9. [Helicone Repository auf GitHub](https://github.com/Helicone/helicone) ## Häufige Fragen Ist Helicone quelloffen? Ja, unter Apache 2.0. Das Repository mit rund 6.200 Sternen enthält Gateway, Log-Sammler und Dashboard. Die gehosteten Stufen ergänzen Funktionen wie SOC-2-Berichte, HIPAA-Optionen, SAML SSO und On-Prem-Verträge. Verursacht der Helicone-Proxy Latenz? Der eigene Benchmark des Herstellers schickt 500 verschränkte Anfragen direkt an OpenAI und über Helicone und meldet im Mittel 2,21 Sekunden in beiden Fällen, p90 3,27 gegenüber 3,29 Sekunden. Das ist ein Herstellertest auf text-ada-001, also ein Hinweis, dass der Overhead klein ist, keine Zahl zum Planen. Kann Helicone aus dem kritischen Pfad bleiben? Ja, über die asynchrone OpenLLMetry-Integration, die nach der Antwort loggt und nie zwischen Anwendung und Anbieter steht. Die Dokumentation benennt den Preis ausdrücklich: der asynchrone Pfad verliert Bucket-Caching, eigene Rate-Limits und Retries. Wie funktioniert Helicone mit mehreren Anbietern? Das AI Gateway stellt mehr als 100 Modelle über einen OpenAI-kompatiblen Endpunkt bereit und übersetzt die Anfrage in das Format des jeweiligen Anbieters. Mit Credits hält Helicone die Anbieterschlüssel und nennt null Aufschlag; eigene Schlüssel sind auch möglich. Geschrieben von Balázs Csorba Senior Fullstack & AI Engineer in der Steiermark – über 10 Jahre Vue, Nuxt, Node.js und PHP, heute baue ich Werkzeuge für KI-Agenten. [KI-Entwicklung & MCP-Server →](https://balazscsorba.com/de/expertise/ai-engineer)[Über mich →](https://balazscsorba.com/de/about) ## Weitere Artikel - [DeepSeek V4.1 Flash 1017: 890 Byte KV-Cache pro Token, und was ein Agent davon hat](https://balazscsorba.com/de/blog/deepseek-v4-1-flash-1017) - [LLM-Rate-Limits in Produktion: Retries, Backoff und Provider-Fallback](https://balazscsorba.com/de/blog/llm-rate-limits-retries-provider-fallback) - [Prompt-Versionierung in Produktion: Git, Registries, Labels und Rollbacks](https://balazscsorba.com/de/blog/prompt-versioning-management) - [LLM-Batch-APIs: Inferenz zum halben Preis für Arbeit, die warten kann](https://balazscsorba.com/de/blog/llm-batch-api-offline-workloads) ## Klingt nach dem, was du suchst? Erzähl mir von deinem Projekt oder deiner Stelle – ich freue mich, von dir zu hören. [Kontakt aufnehmen](mailto:contact@balazscsorba.com) [Auf LinkedIn vernetzen](https://www.linkedin.com/in/balazs-csorba)