LLMOps & Evals
·7 Min. Lesezeit
Opik im Test: Open-Source-Tracing und Evals mit US-gehosteter Cloud
Opik im Test: Traces, Judge-Metriken, Prompts und Optimierer unter Apache 2.0. Selbst hosten ist gratis, Pro-Cloud ab 19 Dollar, Hosting in den USA.
Blog/Schlagwort
Artikel über Tracing
7 Artikel mit dem Schlagwort Tracing, neueste zuerst. Jeder ist belegt und für Leute geschrieben, die Software ausliefern.
KI-Agenten
·10 Min. Lesezeit
OpenAI Agents SDK: eine schlanke Agent-Runtime mit scharfen Kanten
Eine Bewertung des OpenAI Agents SDK: Runner-Schleife, Tracing, Guardrails und Approvals, plus was Release-Tempo und die Responses-only-Funktionen kosten.
- Agent runtime
- Tracing
- Guardrails
LLMOps & Evals
·10 Min. Lesezeit
Langfuse-Test: Tracing, Prompts und Evals selbst gehostet
Langfuse im Test: LLM-Traces, Prompt-Versionen und Experimente auf einer MIT-lizenzierten Plattform. Was Selbsthosting kostet und wo Langfuse verliert.
LLMOps & Evals
·12 Min. Lesezeit
Observability für LLM-Agenten mit OpenTelemetry: Traces, Tokens, PII und Evals
So tracest du LLM-Agenten mit OpenTelemetry: GenAI Semantic Conventions und ihr Status, Span-Baum, Token-Metriken, Sampling, PII, Evals und Tool-Optionen.
LLMOps & Evals
·10 Min. Lesezeit
Braintrust im Test: Eval-first Observability mit hartem Zähler
Braintrust im Test: Datasets und geprüfte Experimente aus Produktions-Traces. Was Starter und Pro kosten und wo Phoenix, Langfuse und LangSmith gewinnen.
- Evaluations
- Observability
- LLM-as-a-judge
LLMOps & Evals
·10 Min. Lesezeit
Arize Phoenix im Test: LLM-Tracing und Evals auf eigener Infrastruktur
Arize Phoenix im Test: ELv2-lizenzierter Tracing- und Eval-Server, Betriebskosten und wo Langfuse, Braintrust und LangSmith besser sind.
LLMOps & Evals
·10 Min. Lesezeit
LangSmith: aus einem Observability-Produkt wurde eine Agent-Plattform
LangSmith im Test: Abrechnung pro Trace, 14 und 180 Tage Retention, OpenTelemetry-Ingestion, Evals und der Schwenk zur Agent-Runtime.
- Tracing
- LLM evals
- OpenTelemetry