[{"data":1,"prerenderedAt":627},["ShallowReactive",2],{"blog-ragas-de":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":25,"cover":43,"og":44,"expertise":45,"locales":46,"lang":48,"title":50,"description":51,"coverAlt":52,"metaTitle":53,"takeaways":54,"faq":60,"toc":73,"blocks":98,"others":386},"ragas","2026-05-20",10,"llmops",[9,10,11,12,13],"RAG evaluation","LLM-as-judge","Test sets","CI quality","Ragas",[4,15,16,17,18,19,20,21],"ragas tutorial","ragas vs deepeval","llm evaluation metrics","faithfulness context precision","rag evaluation framework","llm as a judge","ragas pricing",[23],{"name":13,"url":24},"https:\u002F\u002Fwww.ragas.io\u002F",[26,29,32,35,38,41],{"title":27,"url":28},"Ragas documentation: introduction","https:\u002F\u002Fdocs.ragas.io\u002Fen\u002Fstable\u002F",{"title":30,"url":31},"Ragas documentation: quick start","https:\u002F\u002Fdocs.ragas.io\u002Fen\u002Fstable\u002Fgetstarted\u002Fquickstart\u002F",{"title":33,"url":34},"Ragas documentation: list of available metrics","https:\u002F\u002Fdocs.ragas.io\u002Fen\u002Fstable\u002Fconcepts\u002Fmetrics\u002Favailable_metrics\u002F",{"title":36,"url":37},"Ragas on GitHub","https:\u002F\u002Fgithub.com\u002Fvibrantlabsai\u002Fragas",{"title":39,"url":40},"Ragas on PyPI","https:\u002F\u002Fpypi.org\u002Fproject\u002Fragas\u002F",{"title":42,"url":24},"Ragas website","\u002Fimages\u002Fblog\u002Fragas\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fragas\u002Fog.jpg","ai-engineer",[47,48,49],"en","de","hu","Ragas-Review: der Standard fur RAG-Evaluation","Ragas bewertet RAG- und Agenten-Pipelines mit Faithfulness, Context Precision und Context Recall, erzeugt Testdaten und protokolliert Experimente. Apache-2.0, das Judge-Modell kostet extra.","Drei unterschiedlich hohe Balken mit Bogenmessern darüber, eine Kiste gibt kleine Quadrate ab.","Ragas-Review: Metriken, Experimente, Kosten · Balázs Csorba",[55,56,57,58,59],"Ragas ist eine Apache-2.0-Python-Bibliothek in Version 0.4.3, deren Metriken Faithfulness, Context Precision und Context Recall zur Standardsprache der RAG-Evaluation geworden sind.","Die meisten Metriken rufen ein Judge-Modell auf, ein Lauf kostet also Geld und erbt die Blindstellen des Judges; Modellversion vor dem Vergleich zweier Laufe festschreiben.","Die Bibliothek speichert keine Traces und zeichnet keine Dashboards, deshalb kombinieren Teams mit Produktions-Beobachtbarkeit Ragas mit einem Werkzeug wie Langfuse oder bauen den Speicher selbst.","Fur die gehostete Plattform gibt es keinen publizierten Preislist, deshalb ist das Judge-Modell und nicht die Lizenz die Zahl, die man budgetieren muss.","Referenzfreie Metriken messen, ob eine Antwort gestutzt ist, nicht ob sie korrekt ist; fur Korrektheit ein kleines gelabeltes Set aufbewahren.",[61,64,67,70],{"q":62,"a":63},"Ist Ragas kostenlos nutzbar?","Die Python-Bibliothek ist Apache-2.0 und frei, einschliesslich Metriken, synthetischer Testset-Generierung und Experiments-Workflow. Die gehostete Plattform und Enterprise-Support verkauft VibrantLabs direkt, ohne publizierte Preise.",{"q":65,"a":66},"Welche Ragas-Metriken brauchen ein Golden Set?","Context Recall und Factual Correctness vergleichen mit einer Referenzantwort, wahrend Faithfulness, Response Relevancy und der Aspect Critic allein mit Frage, Kontext und Antwort arbeiten. Die meisten Teams starten referenzfrei und labeln nur die Zeilen, die dauerhaft falsch sind.",{"q":68,"a":69},"Ersetzt Ragas ein Observability-Werkzeug?","Nein. Es bewertet einen bereitgestellten Datensatz und schreibt Ergebnisse als CSV; es sammelt keine Traces, zieht keinen Produktionsverkehr und zeichnet keine Dashboards. Einsetzen als Metrik-Schicht unter etwas, das Laufe speichert.",{"q":71,"a":72},"Was kostet ein Ragas-Lauf?","Was das Judge-Modell abrechnet. Faithfulness macht mehrere LLM-Aufrufe pro Zeile, weil es Behauptung fur Behauptung pruft, ein Set mit 500 Zeilen uber vier Metriken lauft also auf tausende Aufrufe; Caching und ein kleineres Judge-Modell sind die Regler.",[74,77,80,83,86,89,92,95],{"id":75,"title":76},"what-it-is","Was es ist",{"id":78,"title":79},"how-it-works","Wie es funktioniert",{"id":81,"title":82},"getting-started","Erste Schritte",{"id":84,"title":85},"performance","Performance und Kosten",{"id":87,"title":88},"pricing","Preise",{"id":90,"title":91},"where-it-shingles","Wo es scheuert",{"id":93,"title":94},"verdict","Fazit",{"id":96,"title":97},"sources","Quellen",[99,108,111,114,122,144,145,148,154,157,158,161,163,186,193,194,197,244,247,255,258,259,262,272,273,280,325,328,338,339,342,354,358,359],{"type":100,"content":101},"paragraph",[102,103,107],"Ragas ist eine Apache-2.0-Python-Bibliothek zur Bewertung von LLM-Anwendungen und inzwischen die Sprache, in der man sich uber RAG-Evaluation streitet: Faithfulness, Context Precision und Context Recall stammen alle aus ihrem Metrik-Set. ",{"tag":104,"children":105},"strong",[106],"Als erstes Bewertungswerkzeug fur eine Retrieval-Pipeline ist sie sehr nutzlich, als Produktions-Monitoring ist sie praktisch wertlos",", denn sie berechnet Zahlen uber einen Datensatz, den man ihr reingibt, und uberlasst Speicherung, Dashboards, Sampling und Alerting jemand anderem.",{"type":100,"content":109},[110],"Sie liegt zwischen dem Retrieval-Stack und dem Build: nachdem LlamaIndex, LangChain oder ein selbst geschriebener Retriever Antworten erzeugt, bewertet Ragas sie, und die Zahlen landen neben dem Commit. Konkurrenz sind DeepEval, TruLens und Phoenix sowie die Eval-Features in Langfuse, LangSmith und Braintrust; der Unterschied: Ragas bleibt eine Bibliothek, ohne Dienst zum Betreiben und ohne Anbieter, der die Testdaten hait.",{"type":112,"level":113,"id":75,"text":76},"heading",2,{"type":100,"content":115},[116,117,121],"Das Paket installiert sich mit ",{"tag":118,"children":119},"code",[120],"pip install ragas"," von PyPI und lauft im Prozess; Version 0.4.3 erschien am 13. Januar 2026 und verlangt Python 3.9 oder neuer. Metriken gibt es in zwei Formen: LLM-basiert, wobei ein Judge-Modell eine Zeile liest und einen Wert mit schriftlicher Begrundung zuruckliefert, und klassisch, wo Zeichenketten direkt verglichen werden, etwa BLEU, ROUGE, Exact Match und Semantic Similarity. Darum herum gibt es einen Experiments-Workflow, Datensatz, Lauf, Aufzeichnung, Vergleich, der aus einer Sammlung von Metrikfunktionen eine wiederholbare Evaluation macht.",{"type":123,"ordered":124,"items":125},"list",false,[126,128,130,132,134,136,142],[127],"Lizenz und Tragerschaft: Apache-2.0, betreut von VibrantLabs; das Repository zeigt etwa 16.000 Stars und 1.700 Forks.",[129],"RAG-Metriken: Context Precision, Context Recall, Context Entities Recall, Noise Sensitivity, Response Relevancy und Faithfulness, dazu multimodale Varianten von Faithfulness und Relevance.",[131],"Agenten-Metriken: Tool Call Accuracy, Tool Call F1, Agent Goal Accuracy und Topic Adherence.",[133],"Belegung und Vergleich: Factual Correctness, Semantic Similarity, BLEU, CHRF, ROUGE, String Presence und Exact Match.",[135],"SQL und Zusammenfassung: ausfuehrungsbasierter DataCompy-Score, SQL-Query-Äquivalenz und ein Summarisation Score.",[137,138,141],"Testdaten und Geruest: synthetische Testset-Generierung aus eigenen Dokumenten sowie eine ",{"tag":118,"children":139},[140],"ragas quickstart rag_eval","-Vorlage, die ein lauffahiges Projekt schreibt.",[143],"Ausgabe: Experiment-Ergebnisse als CSV-Dateien im Repository, diffbar wie jedes andere Build-Artefakt.",{"type":112,"level":113,"id":78,"text":79},{"type":100,"content":146},[147],"Ein Lauf arbeitet die Zeilen nacheinander ab. Jede Zeile enthalt die Nutzereingabe, die Antwort der Anwendung und den Kontext, den der Retriever geliefert hat. Eine Metrik nimmt diese Zeile, macht einen oder mehrere LLM-Aufrufe mit einem Prompt, das das Kriterium genau benennt, und liefert einen Wert samt Begrundung des Judges; klassische Metriken uberspringen den Aufruf und vergleichen Zeichenketten. Zeilen werden unabhangig bewertet, das heisst, der Satz parallelisiert sauber, und eine einzelne Zeile laisst sich wiederholen, wenn der Mittelwert falsch aussieht.",{"type":149,"src":150,"alt":151,"wide":152,"caption":153},"image","\u002Fimages\u002Fblog\u002Fragas\u002Fdiagram-7.webp","Wie ein Ragas-Experiment abläuft Ein Fünf-Schritte-Loop. Ein eingefrorenes Testset speist einen Lauf der Anwendung, Metriken rufen pro Zeile ein Judge-Modell auf, die Scores kommen mit schriftlicher Begründung, und das Experiment wird mit der Basislinie verglichen, bevor der nächste Build dieselben Zeilen erneut abarbeitet.",true,"Der Loop sagt nur dann etwas aus, wenn Zeilen und Judge gleich bleiben: Wer beides ändert, vergleicht zwei Experimente, die nicht zusammengehören.",{"type":100,"content":155},[156],"Dass sich diese Art der Evaluation durchgesetzt hat, liegt an der Lesbarkeit der Ausgabe. Ein niedriger Faithfulness-Score kommt mit dem Satz, den der Judge uber den nicht gestutzten Behauptung geschrieben hat, also mit einem Diff, auf den ein Mensch reagieren kann, statt mit einer Zahl zum Streiten.",{"type":112,"level":113,"id":81,"text":82},{"type":100,"content":159},[160],"Der kleinste sinnvolle Test ist eine Metrik auf einer Zeile, und so stellt die README die Bibliothek auch vor.",{"type":118,"code":162},"import asyncio\nfrom ragas.metrics.collections import AspectCritic\nfrom ragas.llms import llm_factory\n\n# The judge: llm_factory() takes OpenAI by default, Anthropic and others as options\nllm = llm_factory(\"gpt-4o\")\n\nmetric = AspectCritic(\n    name=\"summary_accuracy\",\n    definition=\"Verify if the summary is accurate and captures key information.\",\n    llm=llm,\n)\n\nrow = {\n    \"user_input\": \"summarise given text: the company reported an 8% rise in Q3 2024.\",\n    \"response\": \"The company saw an 8% increase in Q3 2024.\",\n}\n\nasync def main():\n    score = await metric.ascore(user_input=row[\"user_input\"], response=row[\"response\"])\n    print(score.value, score.reason)\n\nasyncio.run(main())",{"type":100,"content":164},[165,166,169,170,173,174,177,178,181,182,185],"Fur ein ganzes Projekt ist das Geruest schneller: ",{"tag":118,"children":167},[168],"uvx ragas quickstart rag_eval"," schreibt ein Paket mit ",{"tag":118,"children":171},[172],"rag.py",", ",{"tag":118,"children":175},[176],"evals.py",", einem Datasets- und einem Experiments-Ordner, ",{"tag":118,"children":179},[180],"uv sync"," installiert es, und ",{"tag":118,"children":183},[184],"uv run python evals.py"," laadt den Datensatz, fragt die Anwendung ab, bewertet jede Zeile und hangt das Ergebnis ans CSV an. Die Dokumentation setzt die Vorlage standardmassig auf OpenAI und zeigt dieselben drei Zeilen umgestellt auf Anthropic, Google Gemini, Ollama oder eine beliebige OpenAI-kompatible Endpunkt-Adresse.",{"type":187,"variant":188,"title":189,"body":190},"callout","tip","Judge festschreiben, bevor man vergleicht",[191],[192],"Zwei Laufe sind nur vergleichbar, wenn Metrik-Implementierung, Judge-Modell und Zeilen identisch sind. Modellversion festschreiben, Datensatz im Repository halten, und ein Metrik-Upgrade als Neubaseline behandeln statt als Regression.",{"type":112,"level":113,"id":84,"text":85},{"type":100,"content":195},[196],"Ragas bringt dem Produkt keine Latenz; es bringt dem Build Kosten und Wandzeit. Die Rechnung ist Zeilen mal Metriken mal Judge-Aufrufe pro Zeile, und die teuren Metriken sind die, die eine Antwort in Behauptungen zerlegen und jede einzeln prufen.",{"type":198,"head":199,"rows":208},"table",[200,202,204,206],[201],"Metrik",[203],"Judge-Arbeit pro Zeile",[205],"Braucht Referenzantwort",[207],"Was ein niedriger Wert bedeutet",[209,218,227,236],[210,212,214,216],[211],"Faithfulness",[213],"Zerlegt die Antwort in Behauptungen und pruft jede gegen den Kontext",[215],"Nein",[217],"Die Antwort sagt mehr, als der abgerufene Text stutzt",[219,221,223,225],[220],"Context Precision",[222],"Rangiert die abgerufenen Chunks gegen die Frage",[224],"Optional",[226],"Irrelevante Chunks werden in den Prompt gedruckt",[228,230,232,234],[229],"Context recall",[231],"Vergleicht abgerufenen Kontext mit der Referenzantwort",[233],"Ja",[235],"Der Retriever hat einen Teil dessen nie gesehen, was die Antwort braucht",[237,239,241,242],[238],"Tool Call Accuracy",[240],"Vergleicht Tool-Call und Argumente des Agenten mit dem erwarteten",[233],[243],"Der Agent waehlt das falsche Werkzeug oder liefert kaputte Argumente",{"type":100,"content":245},[246],"Ein Datensatz mit 500 Zeilen und vier LLM-Metriken bedeutet pro Lauf tausende Judge-Aufrufe. Teams drosseln das mit Caching, wo die Bibliothek es zulasst, mit einem kleinen Judge-Modell fur die billigen Metriken und mit einem vollen Lauf nur kurz vor dem Merge.",{"type":123,"ordered":124,"items":248},[249,251,253],[250],"Die billigen Metriken bei jedem Push bewerten; Faithfulness und die Agenten-Metriken beim Merge oder auf Zeitplan laufen lassen.",[252],"Den Datensatz klein und adversarial halten statt gross und zufallig: 200 Zeilen, die schon einmal versagt haben, schlagen 5.000 Zeilen, die nie versagen.",[254],"Synthetische Zeilen fur Abdeckung erzeugen und danach einfrieren; das Testset in jedem Zyklus neu zu erzeugen, laisst jedes Ergebnis wie Rauschen aussehen.",{"type":100,"content":256},[257],"Nichts davon ist Ragas-spezifisch: jede LLM-as-a-Judge-Konstruktion rechnet pro Aufruf ab und erbt die Blindstellen des Judges. Ragas entscheidet, wie viel dieser Mechanik man gratis bekommt und wie viel man drumherum selbst bauen muss.",{"type":112,"level":113,"id":87,"text":88},{"type":100,"content":260},[261],"Die Bibliothek ist frei und Apache-2.0, ohne Seat-Zahl und ohne Nutzungslimite. Die kommerzielle Seite, die gehostete Plattform und direkter Support, wird von den Betreuern per Kontakt und Office Hours verkauft, und dafur gibt es keinen publizierten Preislist. Die Kosten, die also zaehlen, sind das Judge-Modell: jede LLM-Metrik wird von dem Provider abgerechnet, auf den man sie zeigt, und die synthetische Testset-Generierung lauft auf demselben Zaehler.",{"type":123,"ordered":124,"items":263},[264,266,268,270],[265],"Bibliothek: frei, Apache-2.0, Installation von PyPI, kein Konto noetig.",[267],"Judge-Modell: pro Aufruf beim Provider berechnet, typischerweise die groesste Posten eines Eval-Budgets.",[269],"Synthetische Testdaten: ebenfalls LLM-Arbeit, genau wie das Scoring abgerechnet.",[271],"Gehostete Plattform und Support: direkt verkauft, kein oeffentlicher Preis; vor der Zusage klaeren, was enthalten ist.",{"type":112,"level":113,"id":90,"text":91},{"type":100,"content":274},[275,276,279],"Ragas bewertet Zeilen, keine Systeme. Es zieht keinen Produktionsverkehr, speichert keine Traces und sagt nicht, wenn sich p95-Latenz verschoben hat, und es kann nicht sagen, ob die Testfragen reprasentativ sind, genau der Fehler, der eine grune Pipeline nutzlos macht. Das Release-Tempo ist hoch, 0.3.0 im Juli 2025, 0.4.0 im Dezember 2025, 0.4.3 im Januar 2026, Versionen mussen also gepinnt werden. Zum Zeitpunkt der Recherche hatte das Repository 381 offene Issues, der uebliche Preis dafur, der Standard zu sein, und die Dokumentation von ",{"tag":118,"children":277},[278],"stable"," hinterhergehinkt.",{"type":198,"head":281,"rows":289},[282,284,285,287],[283],"Werkzeug",[76],[286],"Wo es gewinnt",[288],"Was man aufgibt",[290,298,307,316],[291,292,294,296],[13],[293],"Metrik-Bibliothek mit synthetischen Testdaten",[295],"Die Metrik-Sprache und ein lauffahiges Projekt mit einem Befehl",[297],"Kein Trace-Speicher, kein Dashboard, kein Produktions-Sampling",[299,301,303,305],[300],"DeepEval",[302],"Metriken im Pytest-Stil mit gehosteter Plattform dahinter",[304],"Unit-Test-Ergonomie und eine lange Metrikliste",[306],"Der Plattform-Teil ist ein eigenes kommerzielles Produkt",[308,310,312,314],[309],"Langfuse",[311],"Open-Source-Tracing mit Datasets und Evaluationen",[313],"Traces, Prompts und Scores an einem Ort",[315],"Metrik-Mathematik nach Ragas-Art ist nur ein Feature von vielen",[317,319,321,323],[318],"Arize Phoenix",[320],"Open-Source-Tracing und Evaluation fur LLM-Anwendungen",[322],"Span-Level-Debugging direkt neben den Scores",[324],"Ein schmales, referenzfreies RAG-Metrik-Set",{"type":100,"content":326},[327],"Die eigentliche Entscheidung ist, wo die Zahlen wohnen. Ragas ist die richtige Motorik, wenn etwas anderes die Laufe speichert, ein CSV im Repository, eine Tabelle im Warehouse, ein Observability-Werkzeug, das importierte Scores annimmt. Das falsche Produkt fur ein Team, das eine URL oeffnen will und sehen will, ob die Qualitat zurueckgegangen ist.",{"type":187,"variant":329,"title":330,"body":331},"warn","Jede Zeile verlasst Ihr Netzwerk",[332],[333,334,337],"Eine LLM-Metrik schickt Frage, abgerufene Chunks und Antwort an die Endpunkt-Adresse des Judges. Wenn der Korpus vertraulich ist, heisst das: ein Judge innerhalb der eigenen Perimeter, die Dokumentation nennt Ollama und jede OpenAI-kompatible Endpoint-Adresse, oder eine bewusste Uebermittlung an Dritte. Die Bibliothek meldet ausserdem standardmassig anonyme Nutzungsdaten; ",{"tag":118,"children":335},[336],"RAGAS_DO_NOT_TRACK=true"," schaltet das ab, der Sammelcode liegt im Repository.",{"type":112,"level":113,"id":93,"text":94},{"type":100,"content":340},[341],"Ragas verdient seinen Status als Standard fur Retrieval-Arbeit: die Metriken sind sauber definiert, die Ausgabe liefert Begruendungen, und ein Projekt ist einen Befehl entfernt. Man sollte es als Scoring-Motor in einen Workflow nehmen, den man ohnehin besitzt, nicht als Evaluations-Plattform.",{"type":123,"ordered":152,"items":343},[344,346,348,350,352],[345],"Nutzen, wenn eine Retrieval-Pipeline existiert und noch kein Golden Set: synthetische Testset-Generierung plus referenzfreie Metriken liefert am ersten Tag einen ersten Messwert.",[347],"Nutzen, wenn Evaluation im CI laufen muss, wo ein CSV-Diff pro Pull Request genau die richtige Menge an Signal ist.",[349],"Nicht waehlen als einziges Evaluationswerkzeug fur ein Agenten-Produkt: Agenten-Metriken gibt es, aber Trajektorien, Werkzeug-Nebenwirkungen und Kosten pro Aufgabe brauchen einen Harness, der Laufe speichert.",[351],"Nicht waehlen, wenn eine Antwort gegenueber Regulator oder Kunde aus gespeicherten Belegen begruendet werden muss; gespeichert wird nichts, was man nicht selbst speichert.",[353],"Das Judge-Modell vor der Lizenz budgetieren: ein gepinntes kleines Modell fur die billigen Metriken und ein faehiges fur Faithfulness ist die uebliche Aufteilung.",{"type":355,"content":356},"quote",[357],"Ragas ist der billigste Weg, aufzuhoren, daruber zu streiten, ob eine Änderung geholfen hat: Judge festschreiben, Zeilen einfrieren, den Diff lesen. Alles, was es nicht tut, ist Arbeit, die man trotzdem bezahlen muss.",{"type":112,"level":113,"id":96,"text":97},{"type":123,"ordered":152,"items":360},[361,366,370,374,378,382],[362],{"tag":363,"href":28,"children":364},"a",[365],"Ragas-Dokumentation: Einfuhrung",[367],{"tag":363,"href":31,"children":368},[369],"Ragas-Dokumentation: Quick Start",[371],{"tag":363,"href":34,"children":372},[373],"Ragas-Dokumentation: verfugbare Metriken",[375],{"tag":363,"href":37,"children":376},[377],"Ragas auf GitHub",[379],{"tag":363,"href":40,"children":380},[381],"Ragas auf PyPI",[383],{"tag":363,"href":24,"children":384},[385],"Ragas-Webseite",[387,444,511,571],{"slug":388,"published":389,"minutes":390,"category":7,"tags":391,"keywords":397,"about":411,"sources":419,"cover":438,"og":439,"expertise":45,"locales":440,"lang":48,"title":441,"description":442,"coverAlt":443},"deepseek-v4-1-flash-1017","2026-10-17",15,[392,393,394,395,396],"DeepSeek","Open-weight models","KV cache","Mixture of experts","LLM cost",[398,399,400,401,402,403,404,405,406,407,408,409,410],"DeepSeek V4.1 Flash 1017","DeepSeek V4.1 Flash","Causal Encoder-Decoder","Compressed Sparse Attention 2","CSA2","FP4 KV cache","KV cache compression","SWA Bounded Replay","Engram conditional memory","DSpark speculative decoding","DeepSeek pricing","DeepSWE benchmark","open-weight coding model",[412,414,416],{"name":392,"url":413},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FDeepSeek",{"name":395,"url":415},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMixture_of_experts",{"name":417,"url":418},"Transformer (deep learning architecture)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTransformer_(deep_learning_architecture)",[420,423,426,429,432,435],{"title":421,"url":422},"DeepSeek-AI: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (arXiv:2609.19969)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.19969",{"title":424,"url":425},"Hugging Face: deepseek-ai\u002FDeepSeek-V4.1-Flash-1017 model card","https:\u002F\u002Fhuggingface.co\u002Fdeepseek-ai\u002FDeepSeek-V4.1-Flash-1017",{"title":427,"url":428},"OpenRouter: DeepSeek V4.1 Flash 1017, pricing and providers","https:\u002F\u002Fopenrouter.ai\u002Fdeepseek\u002Fdeepseek-v4.1-flash-1017",{"title":430,"url":431},"The Decoder: Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks while once again massively cutting per-task costs","https:\u002F\u002Fthe-decoder.com\u002Fdeepseek-v4-1-flash-1017-beats-larger-rivals-in-agentic-tasks-while-once-again-massively-cutting-per-task-costs\u002F",{"title":433,"url":434},"AI Weekly: DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API","https:\u002F\u002Faiweekly.co\u002Falerts\u002Fdeepseek-opens-v41-flash-1017-weights-and-075-search-api",{"title":436,"url":437},"DeepSeek on X: DeepSeek-V4.1-Flash-1017 announcement","https:\u002F\u002Fx.com\u002Fdeepseek_ai\u002Fstatus\u002F2111375640717033777","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fog.jpg",[47,48,49],"DeepSeek V4.1 Flash 1017: 890 Byte KV-Cache pro Token, und was ein Agent davon hat","Technischer Deep Dive zu DeepSeek V4.1 Flash 1017: Encoder-Decoder-Aufteilung, CSA2-Cache-Sharing, FP4-KV-Cache, Benchmarks und die echten Kosten pro Agenten-Task.","Links ein hoher Stapel dünner Karten, ein Pfeil, rechts dieselben Karten auf ein Viertel der Höhe zusammengepresst.",{"slug":445,"published":389,"minutes":6,"category":7,"tags":446,"keywords":452,"about":464,"sources":474,"cover":505,"og":506,"expertise":45,"locales":507,"lang":48,"title":508,"description":509,"coverAlt":510},"llm-rate-limits-retries-provider-fallback",[447,448,449,450,451],"Rate limits","Retries","Fallback","Reliability","LLM gateway",[453,454,455,456,457,458,459,460,461,462,463],"llm rate limit handling","429 too many requests llm api","exponential backoff with jitter","anthropic 529 overloaded error","openai rate limit retry","llm provider fallback","litellm fallbacks","retry-after header","llm circuit breaker","multi provider llm failover","claude api rate limits",[465,468,471],{"name":466,"url":467},"Token bucket","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FToken_bucket",{"name":469,"url":470},"Exponential backoff","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FExponential_backoff",{"name":472,"url":473},"Circuit breaker design pattern","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCircuit_breaker_design_pattern",[475,478,481,484,487,490,493,496,499,502],{"title":476,"url":477},"Claude Platform Docs: Rate limits","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Frate-limits",{"title":479,"url":480},"Claude Platform Docs: API errors","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Ferrors",{"title":482,"url":483},"OpenAI API Docs: Rate limits","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Frate-limits",{"title":485,"url":486},"AWS Builders Library: Timeouts, retries and backoff with jitter","https:\u002F\u002Fbuilder.aws.com\u002Fcontent\u002F3EumjoZascWd1oZiEgL8ORlv3qE\u002Ftimeouts-retries-and-backoff-with-jitter",{"title":488,"url":489},"MDN: Retry-After header","https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FRetry-After",{"title":491,"url":492},"Martin Fowler: Circuit Breaker (2014)","https:\u002F\u002Fmartinfowler.com\u002Fbliki\u002FCircuitBreaker.html",{"title":494,"url":495},"LiteLLM Docs: Router, retries and cooldowns","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":497,"url":498},"LiteLLM Docs: Proxy fallbacks and reliability","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Freliability",{"title":500,"url":501},"OpenRouter Docs: Model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":503,"url":504},"AI SDK Docs: Settings (maxRetries, timeout)","https:\u002F\u002Fai-sdk.dev\u002Fdocs\u002Fai-sdk-core\u002Fsettings","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fog.jpg",[47,48,49],"LLM-Rate-Limits in Produktion: Retries, Backoff und Provider-Fallback","Wie LLM-Rate-Limits funktionieren, welche Fehler man wiederholt, Backoff mit Jitter, Retries in nur einer Schicht und Fallback-Ketten ohne kaputte Ausgaben.","Kleine Quadrate steigen drei Stufen zu einem breiten Rechteck, dahinter zwei weitere in einer Reihe.",{"slug":512,"published":389,"minutes":513,"category":7,"tags":514,"keywords":519,"about":530,"sources":540,"cover":565,"og":566,"expertise":45,"locales":567,"lang":48,"title":568,"description":569,"coverAlt":570},"prompt-versioning-management",8,[515,516,517,518,309],"Prompt management","Versioning","LLMOps","Evals",[520,521,522,523,524,525,526,527,528,529],"prompt versioning","prompt management","prompt registry","version control for prompts","langfuse prompt management","mlflow prompt registry","prompts in git","openai prompt object deprecation","prompt rollback production","prompt ci evaluation",[531,534,537],{"name":532,"url":533},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":535,"url":536},"Version control","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FVersion_control",{"name":538,"url":539},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",[541,544,547,550,553,556,559,562],{"title":542,"url":543},"OpenAI API Docs: Migrate from prompt objects","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\u002Fmigrate-from-prompt-object",{"title":545,"url":546},"OpenAI API Docs: Prompt engineering (reusable prompts deprecation note)","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompt-engineering",{"title":548,"url":549},"Langfuse Docs: Prompt version control","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fprompt-version-control",{"title":551,"url":552},"Langfuse Docs: Prompt caching in the SDKs","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fcaching",{"title":554,"url":555},"Langfuse Docs: Link prompts to traces","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Flink-to-traces",{"title":557,"url":558},"MLflow Docs: Prompt Registry","https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002F",{"title":560,"url":561},"Promptfoo Docs: GitHub Action","https:\u002F\u002Fwww.promptfoo.dev\u002Fdocs\u002Fintegrations\u002Fgithub-action\u002F",{"title":563,"url":564},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fog.jpg",[47,48,49],"Prompt-Versionierung in Produktion: Git, Registries, Labels und Rollbacks","Prompts in Produktion versionieren: was zu einer Version gehört, Git oder Prompt-Registry, Labels und Rollbacks, Eval-Gates in CI und Folgen für Caches.","Fünf aufrechte Karten in einer Reihe, die dritte schwenkt an einem Bogenpfeil zurück, ein Tor vor der letzten.",{"slug":572,"published":389,"minutes":573,"category":7,"tags":574,"keywords":579,"about":590,"sources":600,"cover":621,"og":622,"expertise":45,"locales":623,"lang":48,"title":624,"description":625,"coverAlt":626},"llm-batch-api-offline-workloads",9,[575,576,517,577,578],"Batch API","Cost","Prompt caching","Data pipelines",[580,581,582,583,584,585,586,587,588,589],"llm batch api","anthropic message batches api","openai batch api","gemini batch mode","batch inference llm cost","batch api 50 percent discount","openai flex processing","bedrock batch inference","llm offline processing","batch api prompt caching",[591,594,597],{"name":592,"url":593},"Batch processing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBatch_processing",{"name":595,"url":596},"JSON Lines","https:\u002F\u002Fjsonlines.org\u002F",{"name":598,"url":599},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[601,604,606,607,610,613,615,618],{"title":602,"url":603},"Claude Platform Docs: Batch processing","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fbatch-processing",{"title":605,"url":477},"Claude Platform Docs: Rate limits (Message Batches API)",{"title":563,"url":564},{"title":608,"url":609},"OpenAI API Docs: Batch API","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fbatch",{"title":611,"url":612},"OpenAI API Docs: Flex processing","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fflex-processing",{"title":614,"url":483},"OpenAI API Docs: Rate limits (batch queue limits)",{"title":616,"url":617},"Google AI for Developers: Gemini Batch API","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fbatch-api",{"title":619,"url":620},"Amazon Bedrock User Guide: Batch inference","https:\u002F\u002Fdocs.aws.amazon.com\u002Fbedrock\u002Flatest\u002Fuserguide\u002Fbatch-inference.html","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fog.jpg",[47,48,49],"LLM-Batch-APIs: Inferenz zum halben Preis für Arbeit, die warten kann","Wann sich die Batch-APIs von Anthropic, OpenAI und Gemini lohnen, wie Limits, Zuordnung und Fehler funktionieren und wie sich Rabatte mit Caching addieren.","Eine breite Kiste mit acht kleinen Quadraten, Zulauf von links, ein langer Pfeil kehrt zurück.",1792261158298]