[{"data":1,"prerenderedAt":837},["ShallowReactive",2],{"tool-opik-de":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":34,"cover":104,"og":105,"expertise":106,"locales":107,"lang":109,"title":111,"description":112,"coverAlt":113,"url":46,"pricing":114,"kind":9,"metaTitle":115,"takeaways":116,"faq":122,"toc":135,"blocks":163,"others":509},"opik","2026-10-05",7,"llmops",[9,10,11,12,13],"LLM observability","Tracing","Evaluation","OpenTelemetry","Self-hosting",[4,15,16,17,18,19,20,21],"opik review","opik vs langfuse","opik pricing","self-hosted llm tracing","opik opentelemetry","llm as a judge metrics","opik guardrails",[23,26,28,31],{"name":24,"url":25},"Comet ML","https:\u002F\u002Fwww.comet.com",{"name":12,"url":27},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":29,"url":30},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",{"name":32,"url":33},"Apache License","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FApache_License",[35,38,41,44,47,50,53,56,59,62,65,68,71,74,77,80,83,86,89,92,95,98,101],{"title":36,"url":37},"Opik repository README on GitHub","https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik",{"title":39,"url":40},"Opik LICENSE file: Apache License 2.0","https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\u002Fblob\u002Fmain\u002FLICENSE",{"title":42,"url":43},"Opik on PyPI: package metadata","https:\u002F\u002Fpypi.org\u002Fpypi\u002Fopik\u002Fjson",{"title":45,"url":46},"Opik product page","https:\u002F\u002Fwww.comet.com\u002Fsite\u002Fproducts\u002Fopik\u002F",{"title":48,"url":49},"Opik pricing","https:\u002F\u002Fwww.comet.com\u002Fsite\u002Fpricing\u002F",{"title":51,"url":52},"Opik docs: run locally with Docker Compose","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fself-host\u002Flocal_deployment",{"title":54,"url":55},"Opik docs: Kubernetes deployment with Helm","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fself-host\u002Fkubernetes",{"title":57,"url":58},"Opik docs: platform architecture","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fself-host\u002Farchitecture",{"title":60,"url":61},"Opik docs: tracing getting started","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Ftracing\u002Fgetting-started",{"title":63,"url":64},"Opik docs: OpenTelemetry integration","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fintegrations\u002Fopentelemetry",{"title":66,"url":67},"Opik docs: evaluation metrics overview","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fevaluation\u002Fmetrics\u002Foverview",{"title":69,"url":70},"Opik docs: online evaluation rules","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fproduction\u002Fonline-evaluation\u002Frules",{"title":72,"url":73},"Opik docs: Prompt Library overview","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fdevelopment\u002Fprompt-library\u002Foverview",{"title":75,"url":76},"Opik docs: optimisation algorithms","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fdevelopment\u002Foptimization-runs\u002Falgorithms\u002Foverview",{"title":78,"url":79},"Opik docs: guardrails overview","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fguardrails\u002Foverview",{"title":81,"url":82},"Opik docs: guardrails server","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fguardrails\u002Fserver",{"title":84,"url":85},"Opik docs: SDK anonymizers","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fproduction\u002Fgateway-guardrails\u002Fanonymizers",{"title":87,"url":88},"Opik docs: data anonymization","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fadministration\u002Fdata_anonymization",{"title":90,"url":91},"Comet ML privacy policy","https:\u002F\u002Fwww.comet.com\u002Fsite\u002Fprivacy-policy\u002F",{"title":93,"url":94},"Comet Trust Center","https:\u002F\u002Ftrust.comet.com\u002F",{"title":96,"url":97},"Langfuse repository README (licence)","https:\u002F\u002Fgithub.com\u002Flangfuse\u002Flangfuse",{"title":99,"url":100},"Arize Phoenix repository README (licence)","https:\u002F\u002Fgithub.com\u002FArize-ai\u002Fphoenix",{"title":102,"url":103},"LangChain pricing (LangSmith plans)","https:\u002F\u002Fwww.langchain.com\u002Fpricing","\u002Fimages\u002Fblog\u002Fopik\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fopik\u002Fog.jpg","ai-engineer",[108,109,110],"en","de","hu","Opik im Test: Open-Source-Tracing und Evals mit US-gehosteter Cloud","Opik vereint Traces, Judge-Metriken, Prompts und einen Optimierer unter Apache 2.0. Selbst hosten gratis, Pro-Cloud ab 19 Dollar im Monat, Hosting in den USA.","Coverbild zum Opik-Test: ein Trace läuft von der App über das Backend zu einem Judge und einem Score-Gate.","Apache 2.0 · free to self-host · Pro cloud from $19 a month","Opik im Test: Open-Source-Tracing und Evals · Balázs Csorba",[117,118,119,120,121],"Das gesamte Opik-Repository steht unter Apache 2.0 ohne Enterprise-Ausnahme, das Selbsthosting der kompletten Plattform ist unter dieser Lizenz also kostenlos.","Opik Cloud wird laut Datenschutzerklärung in den USA gehostet. Auf den Seiten, die ich geöffnet habe, fand ich weder eine EU-Region noch einen AVV oder eine Liste der Unterauftragsverarbeiter.","Guardrails und serverseitige Datenmaskierung sind laut Dokumentation Enterprise-Funktionen und laufen über den Vertrieb, nicht als kostenlose Funktion.","Judge-Metriken sind nützlich, aber jeder Judge-Aufruf schickt Trace-Text an einen Modellanbieter, der auf deine Liste der Auftragsverarbeiter gehört.","Nutze die Anonymisierer im SDK, um personenbezogene Daten vor dem Protokollieren zu ersetzen, und teste sie zuerst mit eigenen Beispieldaten.",[123,126,129,132],{"q":124,"a":125},"Ist Opik kostenlos?","Der Code steht unter Apache 2.0, und die Preisseite führt die Open-Source-Variante mit unbegrenzten Spans und unbegrenzter Aufbewahrung. Opik Cloud hat einen Free-Tarif mit 25.000 Spans im Monat und 60 Tagen Aufbewahrung, Pro kostet 19 Dollar im Monat für 100.000 Spans. Forschende, Studierende und Lehrende können den vollen Pro-Tarif kostenlos nutzen.",{"q":127,"a":128},"Wo wird Opik Cloud gehostet?","In den USA. Die Datenschutzerklärung von Comet ML, Inc. sagt, dass die Dienste in den Vereinigten Staaten gehostet werden, und stützt Übermittlungen aus dem EWR und dem Vereinigten Königreich auf Standardvertragsklauseln. Die Preisseite nennt die USA als Datenregion für Free und Pro und „individuell“ für Enterprise. Eine EU-Region habe ich nicht gefunden.",{"q":130,"a":131},"Kann ich OpenTelemetry-Traces an Opik senden?","Ja. Sende OTLP-Traces an https:\u002F\u002Fwww.comet.com\u002Fopik\u002Fapi\u002Fv1\u002Fprivate\u002Fotel in der Cloud oder an http:\u002F\u002Flocalhost:5173\u002Fapi\u002Fv1\u002Fprivate\u002Fotel bei einer lokalen Instanz. Jede Anfrage trägt den API-Schlüssel im Header Authorization, das Projekt im Header projectName und den Workspace im Header Comet-Workspace.",{"q":133,"a":134},"Opik oder Langfuse?","Fang bei der Lizenz an. Das Opik-Repository steht durchgehend unter Apache 2.0, und laut README des Langfuse-Repositorys ist der Kern MIT-lizenziert, die Ordner ee\u002F sind ausgenommen. Vergleiche dann die Funktionen, die du brauchst, und prüfe Datenregion und Guardrail-Gate auf den Seiten beider Anbieter, bevor du entscheidest.",[136,139,142,145,148,151,154,157,160],{"id":137,"title":138},"what-it-is","Was es ist",{"id":140,"title":141},"how-it-works","So funktioniert es",{"id":143,"title":144},"getting-started","Erste Schritte",{"id":146,"title":147},"evaluation-and-judges","Evaluation und Judges",{"id":149,"title":150},"prompts-optimiser-guardrails","Prompts, Optimierer und Guardrails",{"id":152,"title":153},"cost-and-deployment","Was es kostet und wo es läuft",{"id":155,"title":156},"where-it-falls-short","Wo es zu kurz greift",{"id":158,"title":159},"verdict","Fazit",{"id":161,"title":162},"sources","Quellen",[164,168,171,174,177,207,208,211,220,221,224,227,230,231,234,237,240,241,244,247,250,257,258,261,307,310,313,315,325,334,337,343,344,371,372,375,396,414,415],{"type":165,"content":166},"paragraph",[167],"Opik ist die Open-Source-Plattform von Comet für Tracing, Evaluation und Optimierung von LLM-Anwendungen und Agenten. Das Urteil vorweg: Nimm sie, wenn du Traces, LLM-as-a-Judge-Metriken, Prompt-Versionen und einen Optimierer in einem Apache-2.0-Produkt willst und dein Team die Datenbanken betreiben kann. Lass die Finger davon, wenn du eine EU-gehostete Cloud brauchst oder auf Guardrails setzt, ohne mit dem Vertrieb zu sprechen.",{"type":165,"content":169},[170],"Opik konkurriert mit Langfuse, Arize Phoenix und LangSmith, und die Lizenz ist das Erste, was du prüfen solltest. Das Opik-Repository steht unter Apache 2.0, und die LICENSE-Datei kennt keine Ausnahme für Enterprise-Verzeichnisse. Der Kern von Langfuse ist MIT-lizenziert, die Ordner ee\u002F sind ausgenommen, und Arize Phoenix steht unter der Elastic License 2.0. Der Rest dieses Tests zeigt, was du bekommst, was Selbsthosting verlangt und wohin die Daten gehen.",{"type":172,"level":173,"id":137,"text":138},"heading",2,{"type":165,"content":175},[176],"Opik verbindet Tracing, Evaluation und Bewertung im Produktivbetrieb, dazu kommen Prompt-Verwaltung und ein Optimierer. Die Produktseite nennt es „AI Observability & Evals For the Agentic Era“, und das README auf GitHub sagt, dass die gesamte Plattform kostenlos selbst gehostet werden kann.",{"type":178,"ordered":179,"items":180},"list",false,[181,187,192,197,202],[182,186],{"tag":183,"children":184},"strong",[185],"Apache 2.0 für das gesamte Repository. ","Die LICENSE-Datei ist der Standardtext der Apache License 2.0 mit dem Copyright von Comet ML, Inc.",[188,191],{"tag":183,"children":189},[190],"Tracing per Decorator. ","Python installiert man mit pip install opik, und der Decorator @opik.track zeichnet einen Funktionsaufruf auf. Das TypeScript-SDK importiert aus opik.",[193,196],{"tag":183,"children":194},[195],"OpenTelemetry. ","Jede Sprache mit einem OpenTelemetry-SDK kann Traces senden, was Comet als First-Party-Unterstützung beschreibt.",[198,201],{"tag":183,"children":199},[200],"Evaluation. ","Datensätze, Experimente, heuristische Prüfungen wie Equals, RegexMatch und IsJson, mehr als 20 LLM-as-a-Judge-Metriken und eine PyTest-Integration für die CI.",[203,206],{"tag":183,"children":204},[205],"Produktion und Sicherheit. ","Online-Evaluation-Regeln bewerten Live-Traces, und Guardrails prüfen Ein- und Ausgaben. Die Guardrails sind eine Enterprise-Funktion, dazu weiter unten mehr.",{"type":172,"level":173,"id":140,"text":141},{"type":165,"content":209},[210],"Die SDKs bündeln Telemetrie und schicken sie per REST an ein Java-Backend, das die API, die Authentifizierung und die Datenbankmigrationen übernimmt. Ein eigenes Python-Backend führt Evaluatoren, sandboxed Code und Optimierungsjobs aus – der Code läuft also in der Cloud auf der Infrastruktur von Comet und bei Selbsthosting auf deiner. Traces und Spans landen in ClickHouse, Projekte, Datensätze und Prompts in MySQL, Anhänge in MinIO. Redis übernimmt Caching, Rate-Limiting und Queues, ZooKeeper die Cluster-Koordination, und Nginx liefert das React-Frontend aus und leitet die API weiter.",{"type":212,"attrs":213,"inner":217,"caption":218},"diagram",{"viewBox":214,"role":215,"aria-labelledby":216},"0 0 720 330","img","d1-op-t d1-op-d","\u003Ctitle id=\"d1-op-t\">Wie ein Opik-Trace im Speicher landet\u003C\u002Ftitle>\u003Cdesc id=\"d1-op-d\">Deine Anwendung oder dein Agent schickt Traces über das Opik-SDK oder einen OpenTelemetry-Exporter an das Opik-Backend. Das Backend speichert Traces und Spans in ClickHouse, Projekte, Datensätze und Prompts in MySQL und Anhänge in MinIO. Evaluations- und Optimierungsjobs gehen an einen eigenen Python-Dienst, der die Judges ausführt und die Ergebnisse als Feedback-Scores in ClickHouse ablegt. Die Web-Oberfläche erreicht das Backend über Nginx.\u003C\u002Fdesc>\u003Cdefs>\u003Cmarker id=\"ah-op\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head\" \u002F>\u003C\u002Fmarker>\u003C\u002Fdefs>\u003Ctext x=\"20\" y=\"28\" class=\"d-title\">Opik-Trace-Weg\u003C\u002Ftext>\u003Ctext x=\"700\" y=\"28\" text-anchor=\"end\" class=\"d-label\">Plattformdienste\u003C\u002Ftext>\u003Crect x=\"20\" y=\"40\" width=\"170\" height=\"56\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"105\" y=\"63\" text-anchor=\"middle\" class=\"d-text\">Web-UI\u003C\u002Ftext>\u003Ctext x=\"105\" y=\"83\" text-anchor=\"middle\" class=\"d-small\">React hinter Nginx\u003C\u002Ftext>\u003Crect x=\"20\" y=\"130\" width=\"170\" height=\"62\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"105\" y=\"158\" text-anchor=\"middle\" class=\"d-text\">Deine App\u003C\u002Ftext>\u003Ctext x=\"105\" y=\"180\" text-anchor=\"middle\" class=\"d-small\">SDK oder OpenTelemetry\u003C\u002Ftext>\u003Crect x=\"250\" y=\"130\" width=\"170\" height=\"62\" rx=\"10\" class=\"d-accent\" \u002F>\u003Ctext x=\"335\" y=\"158\" text-anchor=\"middle\" class=\"d-text\">Opik-Backend\u003C\u002Ftext>\u003Ctext x=\"335\" y=\"180\" text-anchor=\"middle\" class=\"d-small\">Java-REST-API\u003C\u002Ftext>\u003Crect x=\"250\" y=\"240\" width=\"170\" height=\"62\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"335\" y=\"268\" text-anchor=\"middle\" class=\"d-text\">Python-Backend\u003C\u002Ftext>\u003Ctext x=\"335\" y=\"290\" text-anchor=\"middle\" class=\"d-small\">Judges und Optimierer\u003C\u002Ftext>\u003Crect x=\"480\" y=\"40\" width=\"220\" height=\"56\" rx=\"10\" class=\"d-mint\" \u002F>\u003Ctext x=\"590\" y=\"63\" text-anchor=\"middle\" class=\"d-text\">ClickHouse\u003C\u002Ftext>\u003Ctext x=\"590\" y=\"83\" text-anchor=\"middle\" class=\"d-small\">Traces, Spans, Scores\u003C\u002Ftext>\u003Crect x=\"480\" y=\"130\" width=\"220\" height=\"62\" rx=\"10\" class=\"d-sky\" \u002F>\u003Ctext x=\"590\" y=\"158\" text-anchor=\"middle\" class=\"d-text\">MySQL\u003C\u002Ftext>\u003Ctext x=\"590\" y=\"180\" text-anchor=\"middle\" class=\"d-small\">Projekte, Datensätze, Prompts\u003C\u002Ftext>\u003Crect x=\"480\" y=\"230\" width=\"220\" height=\"56\" rx=\"10\" class=\"d-gold\" \u002F>\u003Ctext x=\"590\" y=\"253\" text-anchor=\"middle\" class=\"d-text\">MinIO\u003C\u002Ftext>\u003Ctext x=\"590\" y=\"273\" text-anchor=\"middle\" class=\"d-small\">Anhänge, Artefakte\u003C\u002Ftext>\u003Cpath d=\"M190 68 H220 V145 H250\" class=\"d-line\" marker-end=\"url(#ah-op)\" \u002F>\u003Cpath d=\"M190 161 H250\" class=\"d-line\" marker-end=\"url(#ah-op)\" \u002F>\u003Cpath d=\"M420 150 H450 V68 H480\" class=\"d-line\" marker-end=\"url(#ah-op)\" \u002F>\u003Cpath d=\"M420 161 H480\" class=\"d-line\" marker-end=\"url(#ah-op)\" \u002F>\u003Cpath d=\"M420 175 H450 V258 H480\" class=\"d-line\" marker-end=\"url(#ah-op)\" \u002F>\u003Cpath d=\"M335 192 V240\" class=\"d-line\" marker-end=\"url(#ah-op)\" \u002F>\u003Ctext x=\"345\" y=\"220\" class=\"d-small\">Jobs\u003C\u002Ftext>\u003Ctext x=\"20\" y=\"318\" class=\"d-small\">Redis übernimmt Caching, Queues und Rate-Limits. ZooKeeper koordiniert ClickHouse.\u003C\u002Ftext>",[219],"Traces landen in ClickHouse, Metadaten in MySQL und Anhänge in MinIO, während ein eigener Python-Dienst die Judges und den Optimierer ausführt.",{"type":172,"level":173,"id":143,"text":144},{"type":165,"content":222},[223],"Installiere das SDK, setze deinen Schlüssel und den Workspace und versieh die Funktionen, die du tracen willst, mit dem Decorator. Zeigt OPIK_URL_OVERRIDE auf eine lokale Instanz, läuft derselbe Code dagegen.",{"type":225,"code":226},"code","# pip install opik\n# Opik Cloud: set your API key and workspace from the Opik dashboard\n# export OPIK_API_KEY=\"\u003Cyour-api-key>\"\n# export OPIK_WORKSPACE=\"\u003Cyour-workspace>\"\n# Self-hosted: point the SDK at your own instance instead\n# export OPIK_URL_OVERRIDE=\"http:\u002F\u002Flocalhost:5173\u002Fapi\"\n\nimport opik\n\nopik.configure()\n\n\n@opik.track(name=\"answer-question\")\ndef answer(question: str) -> str:\n    # your model call goes here\n    return f\"Answer to: {question}\"\n\n\nanswer(\"What does the Apache 2.0 licence allow?\")",{"type":165,"content":228},[229],"Wenn du schon OpenTelemetry betreibst, lass das SDK weg und schicke OTLP-Traces an Opik. Der Cloud-Endpunkt ist https:\u002F\u002Fwww.comet.com\u002Fopik\u002Fapi\u002Fv1\u002Fprivate\u002Fotel, eine lokale Instanz nutzt http:\u002F\u002Flocalhost:5173\u002Fapi\u002Fv1\u002Fprivate\u002Fotel. Jede Anfrage trägt den API-Schlüssel im Header Authorization, das Projekt im Header projectName und den Workspace im Header Comet-Workspace. Die Seite sagt nicht, welche GenAI-Semantikkonventionen Opik abbildet, prüfe also vorher die Attribute, auf die du dich verlassen willst. Für Frameworks listet die Python-Doku Integrationen für LangChain, LangGraph, LlamaIndex, OpenAI, Anthropic und AWS Bedrock.",{"type":172,"level":173,"id":146,"text":147},{"type":165,"content":232},[233],"Bei der Evaluation ist Opik am stärksten. Die Metrikseite teilt die Bibliothek in zwei Gruppen. Die heuristischen Prüfungen brauchen kein Modell und umfassen Equals, Contains, RegexMatch, IsJson, Levenshtein, ROUGE und BERTScore. Die LLM-as-a-Judge-Gruppe hat mehr als 20 Metriken, darunter Hallucination, Answer Relevance, Context Precision, Moderation, Structured Output Compliance und G-Eval, das deine eigenen Anweisungen nutzt.",{"type":165,"content":235},[236],"Zwei Punkte sind wichtig, bevor du einem Judge-Score vertraust. Die Metrikseite sagt, dass die Python-Judge-Metriken auf dem Framework LiteLLM aufbauen, über das auch das Judge-Modell konfiguriert wird. Jeder Judge-Aufruf schickt den Trace-Text an dieses Modell, der Judge-Anbieter gehört also auf deine Liste der Auftragsverarbeiter. Die Seite sagt nicht, ob die Bewertung im SDK oder auf der Plattform läuft. Frag Comet deshalb, bevor du Judges auf sensible Produktions-Traces ansetzt.",{"type":165,"content":238},[239],"Die Online-Evaluation wendet dieselben Judges auf die Produktion an. Eine Regel bewertet einen festgelegten Prozentsatz der Produktions-Traces, bei 100 Prozent alle. Die Scores werden als Feedback-Scores am jeweiligen Trace gespeichert, und ein Durchschnitt, der eine Schwelle überschreitet, kann Slack, PagerDuty oder einen Webhook alarmieren. Jeder bewertete Trace kostet mindestens einen Modellaufruf, die Sample-Rate ist also auch eine Kosteneinstellung, und ich würde niedrig anfangen. Die Doku, die ich öffnen konnte, sagt nicht, welche Tarife die Online-Evaluation enthalten.",{"type":172,"level":173,"id":149,"text":150},{"type":165,"content":242},[243],"Die Prompt Library hält jeden Prompt, auf den ein Agent angewiesen ist, an einem Ort. Jede Änderung erzeugt eine neue, unveränderliche Version, nummeriert als v1, v2, v3 und so weiter. Das SDK holt einen Prompt mit get_prompt oder get_chat_prompt aus einer getrackten Funktion, und ohne Versionsangabe kommt die neueste Version. Labels, Umgebungen oder einen Rollback-Befehl habe ich in der Doku nicht gefunden. Ein Freigabeprozess müsste also auf diesen Versionsnummern aufbauen.",{"type":165,"content":245},[246],"Der Optimierer braucht die meiste Sorgfalt. Das Opik Agent Optimizer SDK bietet sechs Algorithmen. MetaPrompt lässt ein Reasoning-Modell den Prompt kritisieren und umschreiben. HRPO bündelt Fehler und schlägt gezielte Korrekturen vor. Few-Shot Bayesian nutzt Optuna, um Anzahl und Reihenfolge der Beispiele zu wählen. Evolutionary sucht einen Ausgleich zwischen Score und Prompt-Länge. GEPA läuft über einen Wrapper auf Opik-Datensätzen und -Metriken. Parameter lässt den Prompt unangetastet und optimiert Sampling-Parameter per Bayes-Suche. Jeder Lauf ruft ein Modell viele Male auf, setze also vor dem Start ein Budget und einen Holdout-Datensatz.",{"type":165,"content":248},[249],"Guardrails laufen inline und synchron, bevor eine Antwort zurückgegeben wird. Die Guard-Typen sind PII-Erkennung, erlaubte und eingeschränkte Themen, Erkennung von Prompt-Injection und Jailbreaks, eine LLM-as-a-Judge-Prüfung in einfacher Sprache und ein eigener Klassifikator. Guards fasst du zu benannten Policies zusammen, und die Anwendung ruft ein Guardrail über seinen Namen auf. Die Themen- und PII-Prüfungen unterstützen nur Englisch.",{"type":251,"variant":252,"title":253,"body":254},"callout","warn","Guardrails sind laut Doku eine Enterprise-Funktion",[255],[256],"Die Guardrails-Doku sagt das direkt und verlangt, dass du für dein Konto den Vertrieb kontaktierst. Der Guardrails-Server ist ein eigenes Backend mit einem Zero-Shot-Themenklassifikator, Microsoft Presidio mit spaCy für PII, einem Qwen-LoRA-Klassifikator für Prompt-Injection und eigenen Modellen, die du mit gelabelten Beispielen trainierst. Er startet mit .\u002Fopik.sh --guardrails. Die Doku sagt nicht, ob dieser Server im Apache-2.0-Build enthalten ist. Behandle Guardrails deshalb als kostenpflichtige Entscheidung, bis du das schriftlich hast.",{"type":172,"level":173,"id":152,"text":153},{"type":165,"content":259},[260],"Die Open-Source-Variante ist kostenlos selbst hostbar, und die Preisseite führt sie mit unbegrenzten Spans und unbegrenzter Aufbewahrung. Bei den Cloud-Tarifen beginnt die Datenfrage. Hier sind die Tarife, so wie die Preisseite sie im Oktober 2026 zeigte.",{"type":262,"head":263,"rows":272},"table",[264,266,268,270],[265],"Tarif",[267],"Preis",[269],"Enthalten",[271],"Was sich ändert",[273,282,290,299],[274,276,278,280],[275],"Open Source",[277],"$0",[279],"Unbegrenzte Spans",[281],"Unbegrenzte Aufbewahrung, selbst gehostet unter Apache 2.0",[283,285,286,288],[284],"Free Cloud",[277],[287],"25.000 Spans im Monat",[289],"60 Tage Aufbewahrung, bis zu 10 Teammitglieder, Datenregion USA",[291,293,295,297],[292],"Pro Cloud",[294],"$19 im Monat",[296],"100.000 Spans im Monat",[298],"60 Tage standardmäßig, bis zu 50 Teammitglieder, Datenregion USA",[300,302,304,305],[301],"Enterprise",[303],"Individuell",[279],[306],"Individuelle Aufbewahrung und Region, unbegrenzte Teammitglieder, Compliance-Liste mit SOC 2, ISO 27001, HIPAA und DSGVO",{"type":165,"content":308},[309],"Drei Hinweise zur Tabelle. Zusätzliche Spans kosten im Pro-Tarif 5 Dollar pro 100.000, und eine Verlängerung der Aufbewahrung von 60 auf 400 Tage kostet 29 Dollar pro 100.000 Spans. Dieselbe Seite sagt, jeder Tarif enthalte unbegrenzte Teammitglieder, was den Platz-Limits auf den Tarifkarten widerspricht. Lass dir die Anzahl der Plätze vor dem Kauf schriftlich geben. Forschende, Studierende und Lehrende können laut FAQ den vollen Pro-Tarif kostenlos nutzen.",{"type":165,"content":311},[312],"Für das Selbsthosting gibt es zwei Wege. Die lokale Anleitung klont das Repository, startet .\u002Fopik.sh und öffnet http:\u002F\u002Flocalhost:5173. Die Doku nennt das „perfekt zum Starten, aber nicht produktionsreif“, und die Option --clean entfernt alle Datenvolumes. Für den Produktivbetrieb verweist die Doku auf das Kubernetes-Helm-Chart. Es bündelt ClickHouse und ZooKeeper standardmäßig, kann ab Chart-Version 1.4.2 ein externes ClickHouse nutzen und konfiguriert S3 über S3_BUCKET und S3_REGION, wobei die Seite S3 nicht als enthalten beschreibt. Die Kubernetes-Seite sagt nicht, wie MySQL und Redis bereitgestellt werden. Kläre das vor der Dimensionierung des Clusters.",{"type":225,"code":314},"helm repo add opik https:\u002F\u002Fcomet-ml.github.io\u002Fopik\u002F\nhelm upgrade --install opik -n opik --create-namespace opik\u002Fopik",{"type":251,"variant":316,"title":317,"body":318},"note","Drei Details zum Chart, die man prüfen sollte",[319,321,323],[320],"Die Doku sagt, dass Python-SDK und Kubernetes-Deployment zu denselben Versionen passen sollten.",[322],"Helm ersetzt Listen, statt sie zusammenzuführen. Wenn du clickhouse.additionalProfiles neu deklarierst, fällt das Default-Profil weg, außer du wiederholst es.",[324],"Die ClickHouse-Replikation mit replicasCount: 2 braucht ein laufendes Opik, schalte sie also erst nach der ersten Installation ein.",{"type":165,"content":326},[327,328,333],"Hier steht, was die Dokumente zu Daten sagen. Die Datenschutzerklärung von Comet ML, Inc. sagt, dass Opik Cloud in den Vereinigten Staaten gehostet wird und dass Übermittlungen aus dem EWR und dem Vereinigten Königreich in die USA auf Standardvertragsklauseln beruhen. Die Preisseite nennt die USA als Datenregion für Free und Pro und „individuell“ für Enterprise. Weder die Datenschutzerklärung noch das Trust Center nennt einen AVV oder eine Liste der Unterauftragsverarbeiter, und eine EU-Region habe ich nicht gefunden. Im Self-Service-Cloud-Tarif beträgt die Aufbewahrung standardmäßig 60 Tage, das gehört in dein Verzeichnis der Verarbeitungstätigkeiten. Verlange also beides, bevor du personenbezogene Daten aus der EU schickst. Die größere Argumentation zu Regionssteuerung steht in ",{"tag":329,"to":330,"children":331},"link","\u002Fblog\u002Fgdpr-llm-api-eu-data-residency",[332],"DSGVO und Datenresidenz bei LLM-APIs",".",{"type":165,"content":335},[336],"Opik hat zwei Funktionen, die personenbezogene Daten berühren, und sie werden leicht verwechselt. Die serverseitige Datenanonymisierung maskiert E-Mail-Adressen, Telefonnummern und eigene Muster, wenn Menschen Traces ansehen. Sie ist in der Vorschau und nur im Enterprise-Tarif verfügbar und lässt die gespeicherten Daten unverändert. SDK-Anonymisierer arbeiten anders. Registriert über opik.hooks.add_anonymizer erkennen sie PII und ersetzen sie, bevor Daten protokolliert werden, in Cloud- und Selbsthosting-Installationen, und die Ersetzung ist nicht umkehrbar. Die Anonymisierer-Seite nennt Beispiele für E-Mail-Adressen, US-Telefonnummern, Sozialversicherungsnummern und Kreditkartennummern. Namen und Adressen brauchen eigene Regeln.",{"type":251,"variant":338,"title":339,"body":340},"tip","Vor dem Verlassen der Anwendung schwärzen",[341],[342],"Eine nicht umkehrbare Ersetzung im SDK ist der stärkste Datenminimierungsschritt auf Opik-Seite, weil der Rohwert nie protokolliert wird. Teste die Regeln zuerst mit deinen eigenen Beispieldaten, denn die Seite nennt keine formale Liste unterstützter Typen.",{"type":172,"level":173,"id":155,"text":156},{"type":178,"ordered":179,"items":345},[346,351,356,361,366],[347,350],{"tag":183,"children":348},[349],"Keine EU-Cloud-Region, die ich finden konnte. ","Opik Cloud läuft bei Free und Pro in den USA, und Enterprise nennt eine individuelle Region. Für personenbezogene Daten aus der EU heißt das Selbsthosting oder ein Enterprise-Vertrag.",[352,355],{"tag":183,"children":353},[354],"Guardrails und serverseitige Maskierung hängen am Vertrieb. ","Beides sind laut Doku Enterprise-Funktionen, und der Guardrails-Server betreibt eigene Modelle. Plane also Rechenleistung ebenso ein wie den Vertrag.",[357,360],{"tag":183,"children":358},[359],"Der Selbsthosting-Stack ist schwer. ","Ein Produktivbetrieb umfasst ClickHouse, MySQL, Redis, MinIO, ZooKeeper und beide Backends. Die lokale Anleitung ist nicht für den Produktivbetrieb gedacht, plane also ein Plattformprojekt und kein Wochenende.",[362,365],{"tag":183,"children":363},[364],"Lücken in der Dokumentation. ","Die Preisseite widerspricht sich bei den Plätzen, die Metrikseite sagt nicht, wo bewertet wird, die Prompt Library zeigt keine Labels oder Rollbacks, und die OpenTelemetry-Seite nennt die GenAI-Konventionen nicht, die sie abbildet.",[367,370],{"tag":183,"children":368},[369],"Versionen ändern sich schnell. ","Das PyPI-Paket stand bei meiner Prüfung auf 2.2.96, und Chart und SDK sollten zusammenpassen, fixiere also beide.",{"type":172,"level":173,"id":158,"text":159},{"type":165,"content":373},[374],"Opik ist eine starke Apache-2.0-Option für Tracing, Judges, Prompt-Versionen und Optimierung in einem Produkt. Die Lücken stehen nicht in der Funktionsliste. Sie liegen im Enterprise-Vorbehalt bei Guardrails, in der US-gehosteten Cloud und in den laufenden Kosten des Selbsthosting-Stacks. Nimm es für ein Plattformteam, das schon Kubernetes und ClickHouse betreibt und das ganze Repository unter Apache 2.0 braucht. Schau dich anderswo um, wenn die Entscheidung an EU-Hosting oder an einer einfacheren Installation hängt.",{"type":178,"ordered":376,"items":377},true,[378,383,387,392],[379,382],{"tag":183,"children":380},[381],"Nimm es, wenn ","ein Team Traces, Evaluation und Prompts verantwortet und du das ganze Repository unter Apache 2.0 willst.",[384,386],{"tag":183,"children":385},[381],"du ClickHouse, MySQL und MinIO mit derselben Sorgfalt betreiben kannst wie deine anderen Datenspeicher.",[388,391],{"tag":183,"children":389},[390],"Lass es, wenn ","du EU-gehostete Cloud-Verarbeitung oder einen AVV brauchst, den du vor der Unterschrift lesen kannst, denn beides habe ich nicht gefunden.",[393,395],{"tag":183,"children":394},[390],"Guardrails Pflicht sind und du keinen Enterprise-Vertrag eingehen kannst.",{"type":165,"content":397},[398,399,403,404,408,409,413],"Nimm ",{"tag":329,"to":400,"children":401},"\u002Ftools\u002Flangfuse",[402],"Langfuse",", wenn du einen MIT-Kern mit der Ausnahme ee\u002F willst und eine Plattform, die du an deinen eigenen Traces vergleichen kannst. Nimm ",{"tag":329,"to":405,"children":406},"\u002Ftools\u002Farize-phoenix",[407],"Arize Phoenix",", wenn du ein selbst gehostetes Tool willst und die Elastic License 2.0 akzeptieren kannst, unter der es steht. Nimm ",{"tag":329,"to":410,"children":411},"\u002Ftools\u002Flangsmith",[412],"LangSmith",", wenn du ein gehostetes Produkt mit Cloud-Daten in den USA oder der EU willst und Preise pro Sitz akzeptierst, die auf Plus bei 39 Dollar pro Sitz und Monat beginnen, mit Selbsthosting nur im Enterprise-Tarif.",{"type":172,"level":173,"id":161,"text":162},{"type":178,"ordered":179,"items":416},[417,422,426,430,434,438,442,446,450,454,458,462,466,470,474,478,482,486,490,494,497,501,505],[418],{"tag":419,"href":37,"children":420},"a",[421],"README des Opik-Repositorys auf GitHub",[423],{"tag":419,"href":40,"children":424},[425],"LICENSE-Datei von Opik: Apache License 2.0",[427],{"tag":419,"href":43,"children":428},[429],"Opik auf PyPI: Paketmetadaten",[431],{"tag":419,"href":46,"children":432},[433],"Opik-Produktseite",[435],{"tag":419,"href":49,"children":436},[437],"Opik-Preise",[439],{"tag":419,"href":52,"children":440},[441],"Opik-Doku: lokaler Betrieb mit Docker Compose",[443],{"tag":419,"href":55,"children":444},[445],"Opik-Doku: Kubernetes-Deployment mit Helm",[447],{"tag":419,"href":58,"children":448},[449],"Opik-Doku: Plattformarchitektur",[451],{"tag":419,"href":61,"children":452},[453],"Opik-Doku: Einstieg in Tracing",[455],{"tag":419,"href":64,"children":456},[457],"Opik-Doku: OpenTelemetry-Integration",[459],{"tag":419,"href":67,"children":460},[461],"Opik-Doku: Übersicht der Evaluationsmetriken",[463],{"tag":419,"href":70,"children":464},[465],"Opik-Doku: Regeln für Online-Evaluation",[467],{"tag":419,"href":73,"children":468},[469],"Opik-Doku: Übersicht Prompt Library",[471],{"tag":419,"href":76,"children":472},[473],"Opik-Doku: Optimierungsalgorithmen",[475],{"tag":419,"href":79,"children":476},[477],"Opik-Doku: Übersicht Guardrails",[479],{"tag":419,"href":82,"children":480},[481],"Opik-Doku: Guardrails-Server",[483],{"tag":419,"href":85,"children":484},[485],"Opik-Doku: SDK-Anonymisierer",[487],{"tag":419,"href":88,"children":488},[489],"Opik-Doku: Datenanonymisierung",[491],{"tag":419,"href":91,"children":492},[493],"Datenschutzerklärung von Comet ML",[495],{"tag":419,"href":94,"children":496},[93],[498],{"tag":419,"href":97,"children":499},[500],"README des Langfuse-Repositorys (Lizenz)",[502],{"tag":419,"href":100,"children":503},[504],"README des Arize-Phoenix-Repositorys (Lizenz)",[506],{"tag":419,"href":103,"children":507},[508],"LangChain-Preise (LangSmith-Tarife)",[510,604,717,793],{"slug":511,"published":512,"minutes":513,"category":7,"tags":514,"keywords":520,"about":528,"sources":541,"cover":596,"og":597,"expertise":106,"locales":598,"lang":109,"title":599,"description":600,"coverAlt":601,"url":531,"pricing":602,"kind":603},"deepeval","2026-10-06",8,[515,516,517,518,519],"LLM evaluation","pytest","LLM-as-a-judge","Red teaming","Open source",[511,521,522,523,524,525,526,527],"deepeval vs ragas","llm evaluation framework","pytest for llm outputs","g-eval metric","llm judge cost","deepeval pricing","llm red teaming open source",[529,532,535,538],{"name":530,"url":531},"DeepEval","https:\u002F\u002Fdeepeval.com",{"name":533,"url":534},"Confident AI","https:\u002F\u002Fwww.confident-ai.com",{"name":536,"url":537},"Pytest","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPytest",{"name":539,"url":540},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[542,545,548,551,554,557,560,563,566,569,572,575,578,581,584,587,590,593],{"title":543,"url":544},"DeepEval documentation: getting started","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fgetting-started",{"title":546,"url":547},"GitHub: confident-ai\u002Fdeepeval, the README and licence","https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepeval",{"title":549,"url":550},"PyPI: deepeval, the latest release and Python requirement","https:\u002F\u002Fpypi.org\u002Fproject\u002Fdeepeval\u002F",{"title":552,"url":553},"DeepEval documentation: metrics introduction","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-introduction",{"title":555,"url":556},"DeepEval documentation: G-Eval","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-llm-evals",{"title":558,"url":559},"DeepEval documentation: Faithfulness","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-faithfulness",{"title":561,"url":562},"DeepEval documentation: Tool Correctness","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-tool-correctness",{"title":564,"url":565},"DeepEval documentation: generate goldens from documents","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fsynthesizer-generate-from-docs",{"title":567,"url":568},"DeepEval documentation: unit testing in CI\u002FCD","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fevaluation-unit-testing-in-ci-cd",{"title":570,"url":571},"DeepEval FAQ","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Ffaq",{"title":573,"url":574},"DeepEval documentation: data privacy","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fdata-privacy",{"title":576,"url":577},"GitHub: confident-ai\u002Fdeepteam, the red-teaming framework","https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepteam",{"title":579,"url":580},"Confident AI pricing","https:\u002F\u002Fwww.confident-ai.com\u002Fpricing",{"title":582,"url":583},"Confident AI documentation: data residency","https:\u002F\u002Fwww.confident-ai.com\u002Fdocs\u002Fsettings\u002Fdata-residency",{"title":585,"url":586},"Confident AI subprocessor list","https:\u002F\u002Fwww.confident-ai.com\u002Fsubprocessors-list",{"title":588,"url":589},"GitHub: explodinggradients\u002Fragas, the README","https:\u002F\u002Fgithub.com\u002Fexplodinggradients\u002Fragas",{"title":591,"url":592},"GitHub: promptfoo\u002Fpromptfoo, the README","https:\u002F\u002Fgithub.com\u002Fpromptfoo\u002Fpromptfoo",{"title":594,"url":595},"Braintrust pricing","https:\u002F\u002Fwww.braintrust.dev\u002Fpricing","\u002Fimages\u002Fblog\u002Fdeepeval\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepeval\u002Fog.jpg",[108,109,110],"DeepEval-Test: pytest für LLM-Ausgaben, samt Richter-Rechnung","DeepEval führt LLM-Prüfungen als pytest-artige Tests aus, mit eingebauten Richter-Metriken. Die Bibliothek ist frei; Richter-Aufrufe und Datenfluss kosten.","Coverbild zur DeepEval-Rezension: ein Testfall läuft durch eine Richter-Metrik bis zu einem Gate für Bestanden oder Nicht bestanden","Apache-2.0 · free; Confident AI from $0, Starter $200 a month","Evaluation framework",{"slug":605,"published":512,"minutes":513,"category":7,"tags":606,"keywords":612,"about":620,"sources":633,"cover":709,"og":710,"expertise":106,"locales":711,"lang":109,"title":712,"description":713,"coverAlt":714,"url":623,"pricing":715,"kind":716},"dspy",[607,608,609,610,611],"Prompt optimisation","LLM programs","MIPROv2","GEPA","Python",[605,613,614,615,616,617,618,619],"dspy tutorial","dspy optimizer","miprov2","gepa prompt optimization","dspy vs prompt engineering","automatic prompt optimization","dspy signatures",[621,624,627,630],{"name":622,"url":623},"DSPy","https:\u002F\u002Fdspy.ai",{"name":625,"url":626},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":628,"url":629},"Bayesian optimization","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBayesian_optimization",{"name":631,"url":632},"Fine-tuning (deep learning)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FFine-tuning_(deep_learning)",[634,637,640,643,646,649,652,655,658,661,664,667,670,673,676,679,682,685,688,691,694,697,700,703,706],{"title":635,"url":636},"DSPy home and cost example","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002F",{"title":638,"url":639},"DSPy installation","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fgetting-started\u002Finstallation\u002F",{"title":641,"url":642},"DSPy: program, don't prompt","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fgetting-started\u002Fprogram-dont-prompt\u002F",{"title":644,"url":645},"DSPy signatures","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fdiving-deeper\u002Fsignatures-in-depth\u002F",{"title":647,"url":648},"DSPy metrics","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fgetting-started\u002Fmetrics\u002F",{"title":650,"url":651},"DSPy Example API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fprimitives\u002FExample\u002F",{"title":653,"url":654},"DSPy Predict API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fmodules\u002FPredict\u002F",{"title":656,"url":657},"DSPy ChainOfThought API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fmodules\u002FChainOfThought\u002F",{"title":659,"url":660},"DSPy ReAct API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fmodules\u002FReAct\u002F",{"title":662,"url":663},"DSPy optimizers index","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Foptimizers\u002F",{"title":665,"url":666},"DSPy MIPROv2 API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Foptimizers\u002FMIPROv2\u002F",{"title":668,"url":669},"MIPROv2 source code","https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy\u002Fblob\u002Fmain\u002Fdspy\u002Fteleprompt\u002Fmipro_optimizer_v2.py",{"title":671,"url":672},"DSPy BootstrapFewShot API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Foptimizers\u002FBootstrapFewShot\u002F",{"title":674,"url":675},"DSPy BootstrapFinetune API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Foptimizers\u002FBootstrapFinetune\u002F",{"title":677,"url":678},"DSPy GEPA guide","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fgetting-started\u002Fgepa-optimization\u002F",{"title":680,"url":681},"GEPA source code","https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy\u002Fblob\u002Fmain\u002Fdspy\u002Fteleprompt\u002Fgepa\u002Fgepa.py",{"title":683,"url":684},"DSPy saving programs","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Ftutorials\u002Fsaving\u002F",{"title":686,"url":687},"DSPy caching","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Ftutorials\u002Fcache\u002F",{"title":689,"url":690},"DSPy LM API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fmodels\u002FLM\u002F",{"title":692,"url":693},"DSPy FAQ","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Ffaqs\u002F",{"title":695,"url":696},"DSPy GitHub repository","https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy",{"title":698,"url":699},"DSPy 3.4.0 release","https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy\u002Freleases\u002Ftag\u002F3.4.0",{"title":701,"url":702},"DSPy paper, arXiv","https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.03714",{"title":704,"url":705},"MIPRO paper, arXiv","https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.11695",{"title":707,"url":708},"GEPA paper, arXiv","https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.19457","\u002Fimages\u002Fblog\u002Fdspy\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdspy\u002Fog.jpg",[108,109,110],"DSPy im Test: Prompts gegen eine Metrik kompilieren, nicht von Hand","DSPy erzeugt Prompts aus Signaturen, einer Metrik und Beispielen. Was Optimierer an Modellaufrufen kosten und wann ein handgeschriebener Prompt besser ist.","Titelgrafik zur DSPy-Kritik: eine Signatur und eine Metrik speisen einen Optimierer, der ein gespeichertes Programm kompiliert.","MIT · free, you pay the model API","Prompt optimisation framework",{"slug":718,"published":5,"minutes":513,"category":7,"tags":719,"keywords":725,"about":733,"sources":743,"cover":785,"og":786,"expertise":106,"locales":787,"lang":109,"title":788,"description":789,"coverAlt":790,"url":735,"pricing":791,"kind":792},"llama-cpp",[720,721,722,723,724],"llama.cpp","GGUF","Quantisation","Local inference","llama-server",[720,726,727,728,729,730,731,732],"llama.cpp review","GGUF quantisation levels","llama-server OpenAI compatible","llama.cpp vs Ollama","run LLM locally GDPR","llama.cpp CUDA Metal Vulkan","Q4_K_M vs Q8_0",[734,736,737,740],{"name":720,"url":735},"https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp",{"name":539,"url":540},{"name":738,"url":739},"Quantization (signal processing)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FQuantization_(signal_processing)",{"name":741,"url":742},"General Data Protection Regulation","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FGeneral_Data_Protection_Regulation",[744,746,749,752,755,758,761,764,767,770,773,776,779,782],{"title":745,"url":735},"llama.cpp repository: goals, backends, licence",{"title":747,"url":748},"llama.cpp releases: builds b11538 to b11541","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Freleases",{"title":750,"url":751},"llama.cpp build documentation: CMake flags","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Fdocs\u002Fbuild.md",{"title":753,"url":754},"llama.cpp server README: endpoints, slots and grammars","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Ftools\u002Fserver\u002FREADME.md",{"title":756,"url":757},"llama.cpp quantisation README: bits, size and speed","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Ftools\u002Fquantize\u002FREADME.md",{"title":759,"url":760},"GGUF specification in the ggml repository","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fggml\u002Fblob\u002Fmaster\u002Fdocs\u002Fgguf.md",{"title":762,"url":763},"Performance of llama.cpp on Apple Silicon M-series","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fdiscussions\u002F4167",{"title":765,"url":766},"Performance of llama.cpp on Nvidia CUDA","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fdiscussions\u002F15013",{"title":768,"url":769},"Ollama README: supported backends and REST API","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":771,"url":772},"LM Studio documentation: app overview","https:\u002F\u002Flmstudio.ai\u002Fdocs\u002Fapp",{"title":774,"url":775},"vLLM README: features, hardware and licence","https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm",{"title":777,"url":778},"vLLM documentation: GGUF support","https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Ffeatures\u002Fquantization\u002Fgguf.html",{"title":780,"url":781},"GDPR Article 28: processor","https:\u002F\u002Fgdpr-info.eu\u002Fart-28-gdpr\u002F",{"title":783,"url":784},"GDPR Article 32: security of processing","https:\u002F\u002Fgdpr-info.eu\u002Fart-32-gdpr\u002F","\u002Fimages\u002Fblog\u002Fllama-cpp\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllama-cpp\u002Fog.jpg",[108,109,110],"llama.cpp im Test: die lokale Engine unter Ollama und LM Studio","llama.cpp führt offene Modelle in reinem C und C++ auf Metal, CUDA, Vulkan oder der CPU aus. Ich zeige GGUF-Quants, llama-server und die Grenzen.","Titelgrafik zum llama.cpp-Test: Eine GGUF-Datei fächert sich auf Metal, CUDA, Vulkan und CPU auf, dahinter steht eine OpenAI-kompatible API.","MIT · free","Local inference runtime",{"slug":794,"published":795,"minutes":796,"category":7,"tags":797,"keywords":800,"about":807,"sources":811,"cover":829,"og":830,"expertise":106,"locales":831,"lang":109,"title":832,"description":833,"coverAlt":834,"url":835,"pricing":836,"kind":792},"ollama","2026-09-29",11,[723,798,720,721,799],"Open models","Model serving",[794,801,802,803,804,805,806],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[808],{"name":809,"url":810},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[812,815,817,820,823,826],{"title":813,"url":814},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":816,"url":769},"Ollama on GitHub, with the MIT LICENSE file",{"title":818,"url":819},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":821,"url":822},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":824,"url":825},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":827,"url":828},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg",[108,109,110],"Ollama im Test: der freundliche Weg zu offenen Modellen","Ollama liefert offene Modelle über eine HTTP-API auf eigener Hardware aus. Was es gut macht, wo der Durchsatz zu kurz kommt, was die MIT-Lizenz nicht abdeckt.","Covergrafik zum Ollama-Test: Eine Anfrage auf Port 11434 läuft durch Scheduler und Engine und liefert gestreamte Tokens; darunter das Laden der Modelle und das Entladen im Leerlauf.","https:\u002F\u002Follama.com","MIT · free for personal use",1791636874049]