Blog/Thema
LLMOps und Evals: Modell-Routing und Kosten, Prompt-Caching, Eval-Gates in der CI sowie Tracing für LLM-Agenten im Betrieb.
LLMOps & Evals
·11 Min. Lesezeit
Claude-Tarife mit Preisen Stand Oktober 2026, Fünf-Stunden- und Wochenlimits, Team-Plätze, API-Preise pro Token und die Wahl des passenden Tarifs.
LLMOps & Evals
·15 Min. Lesezeit
Preise von Claude Haiku 5.5 je Preisstufe, Benchmarks gegen Haiku 4.5 und Sonnet 5.5, Effort-Stufen und welche Sonnet-5.5-Aufgaben wechseln können.
LLMOps & Evals
·15 Min. Lesezeit
DeepSeek V4.1 Flash 1017 im Deep Dive: Encoder-Decoder-Aufteilung, CSA2-Cache-Sharing, FP4-KV-Cache, Benchmarks und die echten Kosten pro Agenten-Task.
LLMOps & Evals
·10 Min. Lesezeit
LLM-Rate-Limits in Produktion: welche Fehler man wiederholt, Backoff mit Jitter, Retries nur auf einer Schicht und Provider-Fallback ohne kaputte Ausgaben.
LLMOps & Evals
·8 Min. Lesezeit
Prompts in Produktion versionieren: was zu einer Version gehört, Git oder Prompt-Registry, Labels und Rollbacks, Eval-Gates in CI und Folgen für Caches.
LLMOps & Evals
·9 Min. Lesezeit
Wann sich die Batch-APIs von Anthropic, OpenAI und Gemini lohnen, wie Limits, Zuordnung und Fehler funktionieren und wie sich Rabatte mit Caching addieren.
LLMOps & Evals
·11 Min. Lesezeit
Wann ein kleines Modell die Frontier-API schlägt: Kosten pro Fall, Latenz, Datenschutz, Destillation, Quantisierung, Routing und ein Eval-Plan.
LLMOps & Evals
·10 Min. Lesezeit
Wie Effort, adaptives Thinking und Thinking-Level bei Claude, OpenAI und Gemini funktionieren, was Thinking-Tokens kosten und wie ein Effort-Sweep hilft.
LLMOps & Evals
·9 Min. Lesezeit
Wie Structured Outputs und Constrained Decoding bei OpenAI, Claude, Gemini und vLLM funktionieren, welche Schemaregeln zählen und was du validierst.
LLMOps & Evals
·9 Min. Lesezeit
KI-Agenten evaluieren: Ergebnis- und Trajektorie-Grader, Match-Modi, pass^k, isolierte Umgebungen und LLM-Judges, die belastbar sind.
LLMOps & Evals
·10 Min. Lesezeit
Ein Playbook für den Wechsel von LLM-Modellen: Deprecation-Fristen, Vertragsfixes, Regression-Suite, Prompt-Tuning, Shadow-Traffic und Canary.
LLMOps & Evals
·6 Min. Lesezeit
Wie semantische Caches LLM-Antworten für ähnliche Fragen wiederverwenden, was sie vom Prompt-Caching trennt, wie man falsche Treffer und Lecks vermeidet.
LLMOps & Evals
·10 Min. Lesezeit
LLMs selbst hosten für die DSGVO: wann es nötig ist, GPU-Speicher für offene Modelle, EU-Preise Stand Oktober 2026 und Break-even pro Million Token.
LLMOps & Evals
·8 Min. Lesezeit
DeepEval führt LLM-Prüfungen als pytest-artige Tests aus, mit eingebauten Richter-Metriken. Die Bibliothek ist frei; Richter-Aufrufe und Datenfluss kosten.
LLMOps & Evals
·8 Min. Lesezeit
DSPy erzeugt Prompts aus Signaturen, einer Metrik und Beispielen. Was Optimierer an Modellaufrufen kosten und wann ein handgeschriebener Prompt besser ist.
LLMOps & Evals
·8 Min. Lesezeit
llama.cpp führt offene Modelle in reinem C und C++ auf Metal, CUDA, Vulkan oder der CPU aus. Ich zeige GGUF-Quants, llama-server und die Grenzen.
LLMOps & Evals
·7 Min. Lesezeit
Opik im Test: Traces, Judge-Metriken, Prompts und Optimierer unter Apache 2.0. Selbst hosten ist gratis, Pro-Cloud ab 19 Dollar, Hosting in den USA.
LLMOps & Evals
·11 Min. Lesezeit
Drei offene TTS-Modelle, ein Laptop: 96 Artikel zu 1.512 Minuten Sprache, chunkierte Synthese, 192-kbit/s-AAC und ein Player, der mitläuft.
LLMOps & Evals
·11 Min. Lesezeit
Ollama im Test: offene Modelle per HTTP-API auf eigener Hardware. Was es gut macht, wo der Durchsatz zu kurz kommt und was die MIT-Lizenz nicht abdeckt.
LLMOps & Evals
·11 Min. Lesezeit
Portkey im Test: Retries, Fallbacks, Cache, Guardrails und Kostenkontrolle hinter einer OpenAI-kompatiblen Schnittstelle. Was das Gateway an Latenz kostet.
LLMOps & Evals
·8 Min. Lesezeit
Claude Opus 5.5 ist Platz 1 von 211 Modellen bei Artificial Analysis (58 Punkte). Mit Effort medium erreicht es Opus 5 für 1,34 $ statt 5,86 $ pro Aufgabe.
LLMOps & Evals
·10 Min. Lesezeit
LLM-Routing mit typisierten Entscheidungen in Jev: Choice-, Score- und Ja-Wahrscheinlichkeits-Antworten mit kalibrierter Konfidenz, Schwellen und Hand-off.
LLMOps & Evals
·10 Min. Lesezeit
Langfuse im Test: LLM-Traces, Prompt-Versionen und Experimente auf einer MIT-lizenzierten Plattform. Was Selbsthosting kostet und wo Langfuse verliert.
LLMOps & Evals
·12 Min. Lesezeit
So tracest du LLM-Agenten mit OpenTelemetry: GenAI Semantic Conventions und ihr Status, Span-Baum, Token-Metriken, Sampling, PII, Evals und Tool-Optionen.
LLMOps & Evals
·10 Min. Lesezeit
OpenRouter im Test: 500+ Modelle von über 80 Anbietern hinter einem OpenAI-kompatiblen Endpunkt, mit Fallbacks und Weiterverrechnung zum Listenpreis.
LLMOps & Evals
·10 Min. Lesezeit
Braintrust im Test: Datasets und geprüfte Experimente aus Produktions-Traces. Was Starter und Pro kosten und wo Phoenix, Langfuse und LangSmith gewinnen.
LLMOps & Evals
·10 Min. Lesezeit
Promptfoo 2026: Evals und Red Teaming unter MIT, seit März 2026 im Besitz von OpenAI. Was es gut kann, wo der YAML-Ansatz bricht und was die Stufen kosten.
LLMOps & Evals
·10 Min. Lesezeit
Arize Phoenix im Test: ELv2-lizenzierter Tracing- und Eval-Server, Betriebskosten und wo Langfuse, Braintrust und LangSmith besser sind.
LLMOps & Evals
·10 Min. Lesezeit
Helicone im Test: Apache-2.0-Plattform für LLM-Gateway und Observability. Was der Proxy bringt, was er kostet und wie der Eigenbetrieb aussieht.
LLMOps & Evals
·11 Min. Lesezeit
vLLM: aus einem Hugging-Face-Checkpoint ein OpenAI-kompatibler Server. Was PagedAttention und kontinuierliches Batching bringen, was der Betrieb kostet.
LLMOps & Evals
·9 Min. Lesezeit
LLM-Kosten und Latenz senken: Prompt-Caching, Routing auf das kleinere Modell und Batch-APIs sind die Hebel im Produktivbetrieb. So nutzt du jeden davon.
LLMOps & Evals
·10 Min. Lesezeit
LangSmith im Test: Abrechnung pro Trace, 14 und 180 Tage Retention, OpenTelemetry-Ingestion, Evals und der Schwenk zur Agent-Runtime.
LLMOps & Evals
·10 Min. Lesezeit
LiteLLM im Test: das MIT-lizenzierte OpenAI-kompatible Gateway, das die meisten Plattformteams vor ihre Anbieter setzen. Was es gut macht und wo es kippt.
LLMOps & Evals
·10 Min. Lesezeit
Ragas im Review: RAG- und Agenten-Pipelines mit Faithfulness, Context Precision und Context Recall bewerten. Apache-2.0, das Judge-Modell kostet extra.
LLMOps & Evals
·8 Min. Lesezeit
LLM-Evals machen aus dem Bauchgefühl eine Testsuite: Fehleranalyse auf echten Traces, Grader-Wahl, ein validierter LLM-as-judge, pass^k und ein CI-Gate.
LLMOps & Evals
·12 Min. Lesezeit
Prompting, RAG, Fine-Tuning oder Distillation: was jeder Hebel ändert (Wissen, Verhalten, Format), was er kostet und wer 2026 SFT, DPO und RFT anbietet.