[{"data":1,"prerenderedAt":630},["ShallowReactive",2],{"tool-ragas-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":25,"cover":43,"og":44,"expertise":45,"locales":46,"lang":49,"title":50,"description":51,"coverAlt":52,"url":53,"pricing":54,"kind":55,"metaTitle":56,"takeaways":57,"faq":63,"toc":76,"blocks":101,"others":394},"ragas","2026-05-20",10,"llmops",[9,10,11,12,13],"RAG evaluation","LLM-as-judge","Test sets","CI quality","Ragas",[4,15,16,17,18,19,20,21],"ragas tutorial","ragas vs deepeval","llm evaluation metrics","faithfulness context precision","rag evaluation framework","llm as a judge","ragas pricing",[23],{"name":13,"url":24},"https:\u002F\u002Fwww.ragas.io\u002F",[26,29,32,35,38,41],{"title":27,"url":28},"Ragas documentation: introduction","https:\u002F\u002Fdocs.ragas.io\u002Fen\u002Fstable\u002F",{"title":30,"url":31},"Ragas documentation: quick start","https:\u002F\u002Fdocs.ragas.io\u002Fen\u002Fstable\u002Fgetstarted\u002Fquickstart\u002F",{"title":33,"url":34},"Ragas documentation: list of available metrics","https:\u002F\u002Fdocs.ragas.io\u002Fen\u002Fstable\u002Fconcepts\u002Fmetrics\u002Favailable_metrics\u002F",{"title":36,"url":37},"Ragas on GitHub","https:\u002F\u002Fgithub.com\u002Fvibrantlabsai\u002Fragas",{"title":39,"url":40},"Ragas on PyPI","https:\u002F\u002Fpypi.org\u002Fproject\u002Fragas\u002F",{"title":42,"url":24},"Ragas website","\u002Fimages\u002Fblog\u002Fragas\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fragas\u002Fog.jpg","ai-engineer",[47,48,49],"en","de","hu","Ragas-ismertető: az alapértelmezett RAG-evalualációs keretrendszer","A Ragas faithfulness, context precision és context recall metrikákkal értékeli a RAG- és ügynök-pipeline-okat, tesztadatot generál és kísérleteket rögzít. Apache-2.0, az ítélőmodell külön számlázva.","A Ragas-kísérlet ciklusának diagramja: a befagyasztott tesztkészlet hajtja az alkalmazás futását, a metrikák soronként ítélőmodellt hívnak, az értékek írásos indoklással érkeznek, az eredményt pedig a kiindulóértékhez hasonlítják.","https:\u002F\u002Fdocs.ragas.io","Apache-2.0 · paid platform","Evaluation framework","Ragas-ismertető: metrikák, kísérletek, költség · Balázs Csorba",[58,59,60,61,62],"A Ragas egy Apache-2.0 licencű Python-könyvtár 0.4.3-as verzióban, amelynek faithfulness, context precision és context recall metrikái a RAG-evalualáció szabványos nyelvévé váltak.","A legtöbb metrika ítélőmodellt hív, a futás tehát pénzbe kerül és örökli a modell vakságait; a két futás összevetése előtt rögzítse a modellverziót.","A könyvtár nem tárol trace-eket és nem rajzol dashboardot, ezért a termelési megfigyelhetőséget igénylő csapatok a Ragashoz egy Langfuse-hoz hasonló eszközt társítanak, vagy maguk építik a tárolót.","A hostolt platformra nincs nyilvános árlista, ezért a költségkeret száma az ítélőmodell, nem a licenc.","A referenciamentes metrikák azt mérik, alátámasztott-e a válasz, nem azt, hogy helyes-e; a helyességhez tartsanak egy kis címkézett készletet.",[64,67,70,73],{"q":65,"a":66},"A Ragas ingyenesen használható?","A Python-könyvtár Apache-2.0 és ingyenes, beleértve a metrikákat, a szintetikus tesztkészlet-generálást és az experiments-munkafolyamatot. A hostolt platformot és az üzleti támogatást a VibrantLabs közvetlenül árulja, nyilvános ár nélkül.",{"q":68,"a":69},"Melyik Ragas-metrikához kell golden set?","A context recall és a factual correctness referenciaválssal hasonlít össze, míg a faithfulness, a response relevancy és az aspect critic önmagában a kérdésből, a kontextusból és a válaszból dolgozik. A legtöbb csapat referenciamentesen kezd, és csak a rendre rossz sorokhoz ad címkét.",{"q":71,"a":72},"A Ragas kiváltja a megfigyelőeszközöket?","Nem. Az Ön által megadott adathalmazt értékeli, és az eredményt CSV-be írja; nem gyűjt trace-eket, nem vesz mintát a termelési forgalomból és nem rajzol dashboardot. Használja metrikarétegként egy futásokat tároló rendszer alatt.",{"q":74,"a":75},"Mennyibe kerül egy Ragas-futás?","Amit az ítélőmodell felszámít. A faithfulness soronként több LLM-hívást indít, mert állításanként ellenőriz, így egy 500 soros, négy metrikás készlet több ezer hívásból áll; a gyorsítótár és a kisebb ítélőmodell a szabályozók.",[77,80,83,86,89,92,95,98],{"id":78,"title":79},"what-it-is","Mi ez",{"id":81,"title":82},"how-it-works","Hogyan működik",{"id":84,"title":85},"getting-started","Első lépések",{"id":87,"title":88},"performance","Teljesítmény és költség",{"id":90,"title":91},"pricing","Árazás",{"id":93,"title":94},"where-it-shingles","Hol akad el",{"id":96,"title":97},"verdict","Ítélet",{"id":99,"title":100},"sources","Források",[102,111,114,117,125,147,148,151,160,163,164,167,169,192,199,200,203,250,253,261,264,265,268,278,279,286,332,335,345,346,349,362,366,367],{"type":103,"content":104},"paragraph",[105,106,110],"A Ragas egy Apache-2.0 licencű Python-könyvtár az LLM-alkalmazások értékelésére, és észrevétlenül a RAG-evalualáció nyelvévé vált: a faithfulness, a context precision és a context recall mind az ő metrikakészletéből származik. ",{"tag":107,"children":108},"strong",[109],"Egy retriever-pipeline első értékelőeszközeként nagyon értékes, termelési monitoringszerként viszont gyakorlatilag nulla",", mert számokat számol egy neki átadott adathalmazon, a tárolást, a dashboardokat, a mintavételt és a riasztást pedig másra bízza.",{"type":103,"content":112},[113],"A retriever-készlet és a build közé ül be: miután a LlamaIndex, a LangChain vagy egy saját retriever válaszokat ad, a Ragas kiértékeli őket, a számok pedig a commit mellé kerülnek. Vetélytársai a DeepEval, a TruLens és a Phoenix, valamint a Langfuse, a LangSmith és a Braintrust beépített értékelő funkciói; a különbség, hogy a Ragas könyvtár marad: nincs üzemeltetendő szolgáltatás és nincs szolgáltató, aki a tesztadatokat őrzi.",{"type":115,"level":116,"id":78,"text":79},"heading",2,{"type":103,"content":118},[119,120,124],"A csomag ",{"tag":121,"children":122},"code",[123],"pip install ragas"," segítséggel a PyPI-ról települ és a folyamaton belül fut; a 0.4.3-as verzió 2026. január 13-án jelent meg, és Python 3.9-est vagy újabbat igényel. A metrikák kétfélék: LLM-alapúak, amikor egy ítélőmodell elolvassa a sort, és értéket ad vissza írásos indoklással, valamint hagyományosak, amikor a szövegeket közvetlenül hasonlítják össze, ilyen a BLEU, a ROUGE, az exact match és a semantic similarity. Eré épül az experiments-munkafolyamat, adathalmaz, futás, rögzítés, összevetés, ami egy metrikafunkció-halmazt megismételhető értékeléssé alakít.",{"type":126,"ordered":127,"items":128},"list",false,[129,131,133,135,137,139,145],[130],"Licenc és tulajdonos: Apache-2.0, a VibrantLabs karbantartja; a repó körülbelül 16 000 csillagot és 1 700 forkot mutat.",[132],"RAG-metrikák: context precision, context recall, context entities recall, noise sensitivity, response relevancy és faithfulness, továbbá a faithfulness és a relevance többdimenziós változatai.",[134],"Ügynök-metrikák: tool call accuracy, tool call F1, agent goal accuracy és topic adherence.",[136],"Alátámasztás és összehasonlítás: factual correctness, semantic similarity, BLEU, CHRF, ROUGE, string presence és exact match.",[138],"SQL és összefoglalás: végrehajtás alapú DataCompy-pontszám, SQL-lekérdezés-ekvivalencia és összefoglaló pontszám.",[140,141,144],"Tesztadatok és váz: szintetikus tesztkészlet-generálás a saját dokumentumokból, valamint egy ",{"tag":121,"children":142},[143],"ragas quickstart rag_eval"," sablon, amely futtatható projektet ír.",[146],"Kimenet: a kísérletek eredménye CSV-fájlokban a repóban, bármely más build-termékhez hasonlóan diffelhető.",{"type":115,"level":116,"id":81,"text":82},{"type":103,"content":149},[150],"Egy futás soronként járja végig a sorokat. Minden sor tartalmazza a felhasználó bemenetét, az alkalmazás válaszát és azt a kontextust, amit a retriever szállított. Egy metrika felveszi a sort, egy vagy több LLM-hívást indít egy, a szempontot pontosan megnevező prompttal, majd értéket ad vissza az ítélő indoklásával; a hagyományos metrikák kihagyják a hívást és szövegeket hasonlítanak össze. A sorok függetlenül értékelődnek, így az adathalmaz párhuzamosítható, és egyetlen sor újrafuttatható, ha a átlag rosszul néz ki.",{"type":152,"attrs":153,"inner":157,"caption":158},"diagram",{"viewBox":154,"role":155,"aria-labelledby":156},"0 0 760 215","img","d-ragas-t d-ragas-d","\u003Ctitle id=\"d-ragas-t\">Ahogy egy Ragas-kísérlet lefut\u003C\u002Ftitle>\u003Cdesc id=\"d-ragas-d\">Öt lépésből álló ciklus. A befagyasztott tesztkészlet hajtja a alkalmazás futását, a metrikák soronként ítélőmodellt hívnak, az értékek írásos indoklással érkeznek, majd a kísérletet a kiindulóértékhez hasonlítják, mielőtt a következő build ugyanazokat a sorokat újrafuttatná.\u003C\u002Fdesc>\u003Cdefs>\u003Cmarker id=\"ah-r\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head\" \u002F>\u003C\u002Fmarker>\u003Cmarker id=\"ah-ra\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head-accent\" \u002F>\u003C\u002Fmarker>\u003C\u002Fdefs>\u003Ctext x=\"10\" y=\"26\" class=\"d-title\">soronkent\u003C\u002Ftext>\u003Crect x=\"10\" y=\"56\" width=\"125\" height=\"66\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"72\" y=\"86\" text-anchor=\"middle\" class=\"d-text\">tesztkeszlet\u003C\u002Ftext>\u003Ctext x=\"72\" y=\"108\" text-anchor=\"middle\" class=\"d-small\">kerdesek, cimkek\u003C\u002Ftext>\u003Crect x=\"165\" y=\"56\" width=\"125\" height=\"66\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"227\" y=\"86\" text-anchor=\"middle\" class=\"d-text\">futas\u003C\u002Ftext>\u003Ctext x=\"227\" y=\"108\" text-anchor=\"middle\" class=\"d-small\">RAG pipeline\u003C\u002Ftext>\u003Crect x=\"320\" y=\"56\" width=\"125\" height=\"66\" rx=\"10\" class=\"d-accent\" \u002F>\u003Ctext x=\"382\" y=\"86\" text-anchor=\"middle\" class=\"d-text\">metrikak\u003C\u002Ftext>\u003Ctext x=\"382\" y=\"108\" text-anchor=\"middle\" class=\"d-small\">itelohivasok\u003C\u002Ftext>\u003Crect x=\"475\" y=\"56\" width=\"125\" height=\"66\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"537\" y=\"86\" text-anchor=\"middle\" class=\"d-text\">pontszamok\u003C\u002Ftext>\u003Ctext x=\"537\" y=\"108\" text-anchor=\"middle\" class=\"d-small\">ertek + indok\u003C\u002Ftext>\u003Crect x=\"630\" y=\"56\" width=\"125\" height=\"66\" rx=\"10\" class=\"d-gold\" \u002F>\u003Ctext x=\"692\" y=\"86\" text-anchor=\"middle\" class=\"d-text\">osszevetes\u003C\u002Ftext>\u003Ctext x=\"692\" y=\"108\" text-anchor=\"middle\" class=\"d-small\">alapertekhez\u003C\u002Ftext>\u003Cpath d=\"M137 89 H161\" class=\"d-line\" marker-end=\"url(#ah-r)\" \u002F>\u003Cpath d=\"M292 89 H316\" class=\"d-line\" marker-end=\"url(#ah-r)\" \u002F>\u003Cpath d=\"M447 89 H471\" class=\"d-line\" marker-end=\"url(#ah-r)\" \u002F>\u003Cpath d=\"M602 89 H626\" class=\"d-line\" marker-end=\"url(#ah-r)\" \u002F>\u003Cpath d=\"M692 124 V170 H72 V126\" class=\"d-line-accent\" marker-end=\"url(#ah-ra)\" \u002F>\u003Ctext x=\"382\" y=\"196\" text-anchor=\"middle\" class=\"d-small\">kovetkezo kiserlet: ugyanazok a sorok, uj build\u003C\u002Ftext>",[159],"A ciklusnak csak akkor van értelme, ha a sorok és az ítélőmodell változatlanok: ha bármelyiket cseréli, két kísérlet már nem hasonlítható össze.",{"type":103,"content":161},[162],"Azért terjedt el ez az értékelési mert a kimenet olvasható. Egy alacsony faithfulness-pontszám azzal a mondattal érkezik, amit az ítélő az alátámasztatlan állításról írt, vagyis olyan diffel, amire egy ember reagálni tud, nem vitára való számmal.",{"type":115,"level":116,"id":84,"text":85},{"type":103,"content":165},[166],"A legkisebb értelmes teszt egy metrika egyetlen soron, ahogy a README is bemutatja a könyvtárat.",{"type":121,"code":168},"import asyncio\nfrom ragas.metrics.collections import AspectCritic\nfrom ragas.llms import llm_factory\n\n# The judge: llm_factory() takes OpenAI by default, Anthropic and others as options\nllm = llm_factory(\"gpt-4o\")\n\nmetric = AspectCritic(\n    name=\"summary_accuracy\",\n    definition=\"Verify if the summary is accurate and captures key information.\",\n    llm=llm,\n)\n\nrow = {\n    \"user_input\": \"summarise given text: the company reported an 8% rise in Q3 2024.\",\n    \"response\": \"The company saw an 8% increase in Q3 2024.\",\n}\n\nasync def main():\n    score = await metric.ascore(user_input=row[\"user_input\"], response=row[\"response\"])\n    print(score.value, score.reason)\n\nasyncio.run(main())",{"type":103,"content":170},[171,172,175,176,179,180,183,184,187,188,191],"Egész projekthez a váz gyorsabb: az ",{"tag":121,"children":173},[174],"uvx ragas quickstart rag_eval"," egy csomagot ír ",{"tag":121,"children":177},[178],"rag.py",", ",{"tag":121,"children":181},[182],"evals.py",", datasets és experiments mappával, az ",{"tag":121,"children":185},[186],"uv sync"," telepíti, a ",{"tag":121,"children":189},[190],"uv run python evals.py"," betölti az adathalmazt, lekérdezi az alkalmazást, kiértékeli az összes sort, és az eredményt a CSV-hez fűzi. A dokumentáció a sablont alapértelmezésben OpenAI-ra állítja, és ugyanezt a három sort mutatja Anthropicra, Google Geminire, Ollamára vagy bármely OpenAI-kompatibilis végpontra állítva.",{"type":193,"variant":194,"title":195,"body":196},"callout","tip","Az ítélőmodellt rögzítse az összevetés előtt",[197],[198],"Két futás csak akkor hasonlítható össze, ha a metrika megvalósítása, az ítélőmodell és a sorok mind azonosak. Rögzítse a modellverziót, tartsa az adathalmazt a repóban, és a metrikafrissítést alapérték-állításként kezelje, nem regresszióként.",{"type":115,"level":116,"id":87,"text":88},{"type":103,"content":201},[202],"A Ragas nem ad késést a terméknek; költséget és valós időt ad a buildnek. A számla: sorok szorozva metrikákkal szorozva ítélőhívásokkal soronként, a drága metrikák pedig azok, amelyek a választ állításokra bontva külön-külön ellenőriznek.",{"type":204,"head":205,"rows":214},"table",[206,208,210,212],[207],"Metrika",[209],"Az ítélő munkája soronként",[211],"Referenciaválasz kell",[213],"Mit jelent az alacsony érték",[215,224,233,242],[216,218,220,222],[217],"Faithfulness",[219],"Az választ állításokra bontja, és mindegyiket a kontextushoz igazítja",[221],"Nem",[223],"A válasz többet állít, mint amit a visszakeresett szöveg alátámaszt",[225,227,229,231],[226],"Context precision",[228],"A visszakeresett chunkokat rangsorolja a kérdéshez képest",[230],"Opcionális",[232],"Releváns chunkok kerülnek a promptba",[234,236,238,240],[235],"Context recall",[237],"A visszakeresett kontextust a referenciaválssal hasonlítja össze",[239],"Igen",[241],"A retriever sosem látta a válasz egy részét",[243,245,247,248],[244],"Tool call accuracy",[246],"Az ügynök eszközhívását és argumentumait a várttal hasonlítja össze",[239],[249],"Az ügynök rossz eszközt választ vagy hibás argumentumot ad meg",{"type":103,"content":251},[252],"Egy 500 soros adathalmaz négy LLM-metrikával futásonként több ezer ítélőhívást jelent. A csapatok úgy tartják elérhetőnek, hogy ahol a könyvtár engedi, gyorsítótáraznak, a olcsó metrikákhoz kis ítélőmodellt használnak, és a teljes készletet csak egy merge előtt futtatják.",{"type":126,"ordered":127,"items":254},[255,257,259],[256],"Az olcsó metrikákat minden pushnál értékelje, a faithfulness-t és az ügynök-metrikákat merge-kor vagy időzítve futtassa.",[258],"Tartsa az adathalmazt kicsinek és agresszív véletlenszerű helyett: 200, már korábban hibát adott sor többet ér, mint 5 000, amely sosem hibázik.",[260],"Szintetikus sorokat generáljon lefedettségre, majd fagyasztja be őket; ha minden ciklusban újragenerálja a tesztkészletet, minden pontszám zajnak tűnik.",{"type":103,"content":262},[263],"Ebből semmi sem Ragas-specifikus: minden LLM-as-a-judge megoldás hívásonként számláz és örökli az ítélő vakságait. A Ragas arról dönt, hogy ennek a gépezetnek mekkora részét kapja ingyen, és mekkorát kell köré építeni.",{"type":115,"level":116,"id":90,"text":91},{"type":103,"content":266},[267],"A könyvtár ingyenes és Apache-2.0, ülés- és felhasználási korlát nélkül. az üzleti oldal, a hostolt platform és a közvetlen támogatás, a karbantartókon keresztül, kontakton és office hours-on át kapható, nyilvános árlista nélkül. Emiatt a tényleges költség az ítélőmodell: minden LLM-metrikát az a szolgáltató számláz, amelyre irányítják, a szintetikus tesztkészlet-generálás pedig ugyanezen a mérőn fut.",{"type":126,"ordered":127,"items":269},[270,272,274,276],[271],"Könyvtár: ingyenes, Apache-2.0, PyPI-ról települ, nem kell hozzá fiók.",[273],"Ítélőmodell: hívásonként a szolgáltatónál számlázva, általában a eval-költségvetés legnagyobb tétele.",[275],"Szintetikus tesztadat: szintén LLM-munka, pontosan úgy számlázva, mint az értékelés.",[277],"Hostolt platform és támogatás: közvetlenül, nyilvános ár nélkül; a vállalás előtt kérdezze meg, mi jár bele.",{"type":115,"level":116,"id":93,"text":94},{"type":103,"content":280},[281,282,285],"A Ragas sorokat értékel, nem rendszereket. Nem vesz mintát a termelési forgalomból, nem tárol trace-eket, nem szól, ha a p95-ös késés elmozdult, és nem tudja megmondani, reprezentatívak-e a tesztkérdések, pedig ez a hiba teszi haszontalanná a zöld pipeline-t. A kiadási tempó gyors, 0.3.0 2025 júliusában, 0.4.0 2025 decemberében, 0.4.3 2026 januárjában, így a verziókat rögzíteni kell. A kutatás időpontjában a repó 381 nyitott issue-t mutatott, ami a az alapértelmezett eszköz szokásos ára, a ",{"tag":121,"children":283},[284],"stable"," dokumentáció pedig lemarad a kiadott API mögött.",{"type":204,"head":287,"rows":296},[288,290,292,294],[289],"Eszköz",[291],"Mi az",[293],"Hol győz",[295],"Miről mond le",[297,305,314,323],[298,299,301,303],[13],[300],"Metrikakönyvtár szintetikus tesztadatokkal",[302],"A metrikanyelv és egyetlen paranccsal futtatható projekt",[304],"Nincs trace-tároló, nincs dashboard, nincs termelési mintavétel",[306,308,310,312],[307],"DeepEval",[309],"Pytest-stílusú metrikák hostolt platformmal mögötte",[311],"Unit-test ergonomika és hosszú metrikalista",[313],"A platform rész külön kereskedelmi termék",[315,317,319,321],[316],"Langfuse",[318],"Nyílt forráskódú tracing adathalmazokkal és értékelésekkel",[320],"Trace-ek, promptok és pontszámok egy helyen",[322],"A Ragas-stílusú metrikamatematika csak egy funkció a sok közül",[324,326,328,330],[325],"Arize Phoenix",[327],"Nyílt forráskódú tracing és értékelés LLM-alkalmazásokhoz",[329],"Span-szintű hibakeresés a pontszámok mellett",[331],"Szűkebb, referenciamentes RAG-metrikakészlet",{"type":103,"content":333},[334],"A valódi döntés az, hol laknak a számok. A Ragas a megfelelő motor, ha valami más tárolja a futásokat: egy CSV a repóban, egy táblázat az adatwarehouse-ban, egy olyan megfigyelőeszköz, amely befogadja az importált pontszámokat. Rossz vásárlás viszont annak a csapatnak, amely egy URL-t akar megnyitni, és látni, romlott-e a minőség.",{"type":193,"variant":336,"title":337,"body":338},"warn","Minden sor elhagyja a hálózatát",[339],[340,341,344],"Egy LLM-metrika a kérdést, a visszakeresett chunkokat és a választ az ítélő végpontjára küldi. Ha a korpusz bizalmas, ez azt jelenti: ítélő a saját határokon belül, a dokumentáció említi az Ollamát és bármely OpenAI-kompatibilis végpontot, vagy tudomásul vett továbbítás harmadik félnek. A könyvtár alapértelmezésben névtelen használati adatokat is küld; a ",{"tag":121,"children":342},[343],"RAGAS_DO_NOT_TRACK=true"," ezt kikapcsolja, a gyűjtőkód a repóban van.",{"type":115,"level":116,"id":96,"text":97},{"type":103,"content":347},[348],"A Ragas megérdemli az alapértelmezett szerepet a retriever-munkában: a metrikák jól definiáltak, a kimenet indoklást hoz, és egy projekt egy parancsnyira van. Scoring-motorként szabad elfogadni egy olyan munkafolyamatban, amelyet egyébként is birtokol, nem értékelési platformként.",{"type":126,"ordered":350,"items":351},true,[352,354,356,358,360],[353],"Használja, ha van retriever-pipelineja, de még nincs golden setje: a szintetikus tesztkészlet-generálás és a referenciamentes metrikák egy nap alatt adnak első mérőszámot.",[355],"Használja, ha az értékelésnek CI-ben kell futnia, ahol egy CSV-diff pull requestenként éppen a megfelelő mennyiségű jelzés.",[357],"Ne ezt válassza egyetlen értékelőeszközként ügynök-termékhez: az ügynök-metrikák megvannak, de a trajektóriák, az eszközök mellékhatásai és a feladatonkénti költség olyan harneszt kíván, amely tárolja a futásokat.",[359],"Ne ezt válassza, ha a választ eltárolt bizonyítékokból kell alátámasztani szabályozó vagy ügyfél előtt; nem marad meg semmi, amit nem ön tárol el.",[361],"A liccnél előbb az ítélőmodellt költségelje: a bevett megosztás egy rögzített kis modell az olcsó metrikákhoz és egy jobb a faithfulness-hoz.",{"type":363,"content":364},"quote",[365],"A Ragas a legolcsóbb módja annak, hogy abbahagyja annak a vitát, segített-e egy változtatás: rögzítse az ítélőt, fagyassza be a sorokat, olvassa el a diffet. Amit nem csinál meg, azt akkor is meg kell fizetni.",{"type":115,"level":116,"id":99,"text":100},{"type":126,"ordered":350,"items":368},[369,374,378,382,386,390],[370],{"tag":371,"href":28,"children":372},"a",[373],"Ragas-dokumentáció: bevezetés",[375],{"tag":371,"href":31,"children":376},[377],"Ragas-dokumentáció: quick start",[379],{"tag":371,"href":34,"children":380},[381],"Ragas-dokumentáció: elérhető metrikák",[383],{"tag":371,"href":37,"children":384},[385],"Ragas a GitHubon",[387],{"tag":371,"href":40,"children":388},[389],"Ragas a PyPI-n",[391],{"tag":371,"href":24,"children":392},[393],"Ragas weboldal",[395,444,527,587],{"slug":396,"published":397,"minutes":398,"category":7,"tags":399,"keywords":405,"about":412,"sources":416,"cover":435,"og":436,"expertise":45,"locales":437,"lang":49,"title":438,"description":439,"coverAlt":440,"url":441,"pricing":442,"kind":443},"ollama","2026-09-29",11,[400,401,402,403,404],"Local inference","Open models","llama.cpp","GGUF","Model serving",[396,406,407,408,409,410,411],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[413],{"name":414,"url":415},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[417,420,423,426,429,432],{"title":418,"url":419},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":421,"url":422},"Ollama on GitHub, with the MIT LICENSE file","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":424,"url":425},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":427,"url":428},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":430,"url":431},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":433,"url":434},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg",[47,48,49],"Ollama teszt: a barátságos út a nyílt modellekhez","Az Ollama egyetlen HTTP API-n szolgál ki nyílt modelleket saját hardveren. Ami jól megy, hol elmarad az átvitel, és mit nem fed le az MIT-licenc.","Absztrakt borítókép az Ollama teszthez","https:\u002F\u002Follama.com","MIT · free for personal use","Local inference runtime",{"slug":445,"published":446,"minutes":398,"category":7,"tags":447,"keywords":453,"about":461,"sources":468,"cover":520,"og":521,"expertise":45,"locales":522,"lang":49,"title":523,"description":524,"coverAlt":525,"url":464,"pricing":526,"kind":448},"portkey","2026-09-28",[448,449,450,451,452],"LLM gateway","Guardrails","Routing","Observability","Cost control",[454,455,456,457,458,459,460],"portkey ai gateway","portkey vs litellm","llm gateway comparison","llm gateway latency overhead","llm guardrails gateway","self-hosted llm gateway","portkey pricing",[462,465],{"name":463,"url":464},"Portkey","https:\u002F\u002Fportkey.ai",{"name":466,"url":467},"API gateway","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FAPI_gateway",[469,472,475,478,481,484,487,490,493,496,499,502,505,508,511,514,517],{"title":470,"url":471},"Portkey docs: AI Gateway","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway",{"title":473,"url":474},"Portkey docs: Getting started with the AI Gateway","https:\u002F\u002Fdocs.portkey.ai\u002Fdocs\u002Fguides\u002Fgetting-started\u002Fgetting-started-with-ai-gateway",{"title":476,"url":477},"Portkey docs: Gateway config object","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fapi-reference\u002Fconfig-object",{"title":479,"url":480},"Portkey docs: Guardrails","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails",{"title":482,"url":483},"Portkey docs: Guardrail endpoints and capabilities","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails\u002Fcapabilities",{"title":485,"url":486},"Portkey docs: Cache, simple and semantic","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fcache-simple-and-semantic",{"title":488,"url":489},"Portkey docs: Load balancing","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fload-balancing",{"title":491,"url":492},"Portkey docs: Enterprise hybrid deployment architecture","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fself-hosting\u002Fhybrid-deployments\u002Farchitecture",{"title":494,"url":495},"Portkey pricing","https:\u002F\u002Fportkey.ai\u002Fpricing",{"title":497,"url":498},"Portkey gateway on GitHub, MIT licensed","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway",{"title":500,"url":501},"Portkey's own benchmark: gateway versus direct Bedrock","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fbenchmark-test",{"title":503,"url":504},"Portkey status page","https:\u002F\u002Fstatus.portkey.ai\u002F",{"title":506,"url":507},"Palo Alto Networks completes acquisition of Portkey, May 2026","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fcompany\u002Fpress\u002F2026\u002Fpalo-alto-networks-completes-acquisition-of-portkey-to-secure-ai-agents",{"title":509,"url":510},"Palo Alto Networks: Prisma AIRS AI Gateway","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fai-security\u002Fai-gateway",{"title":512,"url":513},"Cloudflare AI Gateway pricing","https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-gateway\u002Freference\u002Fpricing\u002F",{"title":515,"url":516},"LiteLLM pricing","https:\u002F\u002Fwww.litellm.ai\u002Fpricing",{"title":518,"url":519},"OpenRouter pricing","https:\u002F\u002Fopenrouter.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Fportkey\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fportkey\u002Fog.jpg",[47,48,49],"Portkey: éles LLM-átjáró, routing, guardrailok és költség szerint","A Portkey egy OpenAI-kompatibilis végpont mögé szorítja a retry-t, a fallbacket, a cache-t, a guardrailokat és a költségkövetést. Ami jól működik, és mi az ára késleltetésben.","A kérés útja az alkalmazástól a Portkey-átjárón át három modellszolgáltatóig, alatta a guardrail-ítélet és a naplóbejegyzés.","Free · from $49 per month",{"slug":528,"published":529,"minutes":6,"category":7,"tags":530,"keywords":536,"about":544,"sources":555,"cover":580,"og":581,"expertise":45,"locales":582,"lang":49,"title":583,"description":584,"coverAlt":585,"url":546,"pricing":586,"kind":531},"langfuse","2026-08-13",[531,532,533,534,535],"LLM observability","Tracing","OpenTelemetry","Self-hosting","Evaluation",[528,537,538,539,540,541,542,543],"langfuse vs langsmith","llm tracing tool","self-hosted llm observability","langfuse pricing","opentelemetry llm traces","llm cost tracking","prompt versioning",[545,547,549,552],{"name":316,"url":546},"https:\u002F\u002Flangfuse.com",{"name":533,"url":548},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":550,"url":551},"ClickHouse","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FClickHouse",{"name":553,"url":554},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",[556,559,562,565,568,571,574,577],{"title":557,"url":558},"Langfuse documentation: observability and application tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Foverview",{"title":560,"url":561},"Langfuse documentation: get started with tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Fget-started",{"title":563,"url":564},"Langfuse pricing: cloud plans, billable units and worked examples","https:\u002F\u002Flangfuse.com\u002Fpricing",{"title":566,"url":567},"Langfuse pricing: self-hosted plans and the feature comparison","https:\u002F\u002Flangfuse.com\u002Fpricing-self-host",{"title":569,"url":570},"Self-host Langfuse: deployment options, containers and storage services","https:\u002F\u002Flangfuse.com\u002Fself-hosting",{"title":572,"url":573},"Langfuse changelog: v4 is live (17 August 2026)","https:\u002F\u002Flangfuse.com\u002Fchangelog\u002F2026-08-17-langfuse-v4",{"title":575,"url":576},"Langfuse blog: Langfuse joins ClickHouse (16 January 2026)","https:\u002F\u002Flangfuse.com\u002Fblog\u002Fjoining-clickhouse",{"title":578,"url":579},"GitHub: langfuse\u002Flangfuse, the platform repository","https:\u002F\u002Fgithub.com\u002Flangfuse\u002Flangfuse","\u002Fimages\u002Fblog\u002Flangfuse\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flangfuse\u002Fog.jpg",[47,48,49],"Langfuse bemutatás: nyomkövetés, promptok és értékelések saját szerveren","A Langfuse egy MIT-licencelt platformra teszi az LLM-nyomokat, a promptverziókat és a kísérleteket. Mibe kerül a saját telepítés, hogy számol a Usage-alapú ár, és hol veszít.","Egy pipeline a kötegelt alkalmazás-eseménytől a Langfuse web konténeren és az objektumtáron át a ClickHouseig, mellette a Redis és a PostgreSQL.","MIT · paid from $59 per month",{"slug":588,"published":589,"minutes":6,"category":7,"tags":590,"keywords":595,"about":602,"sources":606,"cover":622,"og":623,"expertise":45,"locales":624,"lang":49,"title":625,"description":626,"coverAlt":627,"url":628,"pricing":629,"kind":448},"openrouter","2026-07-23",[448,591,592,593,594],"Model routing","Fallbacks","OpenAI-compatible","Pay per token",[588,596,456,597,598,599,600,601],"openrouter vs litellm","openrouter pricing","openai compatible api gateway","llm fallback routing","multi model api gateway","byok llm routing",[603],{"name":604,"url":605},"OpenRouter","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenRouter",[607,610,611,614,617,620],{"title":608,"url":609},"OpenRouter documentation: quickstart","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fquickstart",{"title":518,"url":519},{"title":612,"url":613},"OpenRouter documentation: model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":615,"url":616},"OpenRouter documentation: provider routing","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fprovider-selection",{"title":618,"url":619},"OpenRouter documentation index","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fllms.txt",{"title":621,"url":605},"Wikipedia: OpenRouter","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fog.jpg",[47,48,49],"OpenRouter: egy API-kulcs a katalógus minden modellje előtt","OpenRouter egyetlen OpenAI-kompatibilis végpont mögé tereli a 80+ szolgáltató 500+ modelljét, fallbackkel és listaáron. Mennyibe kerül, és hol törik el.","Kérési útvonal az OpenRouteren át: kliens, router, lehetséges szolgáltatók, fallback lista és a végül válaszoló modell.","https:\u002F\u002Fopenrouter.ai","Pay per token, no subscription",1791383550445]