[{"data":1,"prerenderedAt":793},["ShallowReactive",2],{"blog-evaluating-ai-agents-trajectories-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":27,"sources":37,"cover":59,"og":60,"expertise":61,"locales":62,"lang":65,"title":66,"description":67,"coverAlt":68,"metaTitle":69,"takeaways":70,"faq":76,"toc":92,"blocks":126,"others":535},"evaluating-ai-agents-trajectories","2026-10-16",9,"llmops",[9,10,11,12,13],"Agent evals","Trajectories","Tool calling","pass^k","LLM-as-judge",[15,16,17,18,19,20,21,22,23,24,25,26],"evaluating AI agents","agent trajectory evaluation","agent evals","tool call accuracy","trajectory match evaluator","pass^k metric","tau-bench","LLM as a judge for agents","agent regression testing","outcome vs trajectory evaluation","agentevals","tool correctness metric",[28,31,34],{"name":29,"url":30},"Intelligent agent","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FIntelligent_agent",{"name":32,"url":33},"Software testing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FSoftware_testing",{"name":35,"url":36},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[38,41,44,47,50,53,56],{"title":39,"url":40},"Anthropic: Demystifying evals for AI agents (Jan 2026)","https:\u002F\u002Fwww.anthropic.com\u002Fengineering\u002Fdemystifying-evals-for-ai-agents",{"title":42,"url":43},"Yao et al.: τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains (2024)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.12045",{"title":45,"url":46},"Barres et al.: τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment (2025)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.07982",{"title":48,"url":49},"LangChain: agentevals (GitHub)","https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Fagentevals",{"title":51,"url":52},"DeepEval docs: Tool Correctness","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-tool-correctness",{"title":54,"url":55},"Ragas docs: Agentic or tool use metrics","https:\u002F\u002Fdocs.ragas.io\u002Fen\u002Fstable\u002Fconcepts\u002Fmetrics\u002Favailable_metrics\u002Fagents\u002F",{"title":57,"url":58},"OpenAI API docs: Trace grading","https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fguides\u002Ftrace-grading","\u002Fimages\u002Fblog\u002Fevaluating-ai-agents-trajectories\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fevaluating-ai-agents-trajectories\u002Fog.jpg","ai-engineer",[63,64,65],"en","de","hu","MI-ügynökök értékelése: trajektóriák, eredmények és megbízhatóság pontozása","Hogyan értékeld az MI-ügynököket: eredmény- és trajektória-értékelők, egyeztetési módok, pass^k, izolált környezet és megbízható LLM-bírák.","Eszközhívásokból álló ügynök-trajektória kétszer pontozva: a trajektória-értékelő a sorrendet és az argumentumokat, az eredményértékelő az adatbázist veti össze a célállapottal.","MI-ügynökök értékelése: trajektória, eredmény · Balázs Csorba",[71,72,73,74,75],"Az eredményt a környezet állapotához mérd; az ügynök végső üzenete a siker leggyengébb jele.","A trajektória-ellenőrzést a minden úton kötelező invariánsokra használd, és ne követelj meg egyetlen pontos utat, mert az ügynökök érvényes alternatívákat találnak.","Az agentevals strict, unordered, subset és superset trajektóriaegyeztetést és eszközönkénti argumentumszabályokat kínál; a DeepEval és a Ragas hasonlót fed le.","A pass^k, vagyis hogy mind a k futtatás sikeres, megmutatja a megbízhatatlanságot, amelyet a pass@k elrejt; 75%-os futtatásonkénti aránynál a háromból három kb. 42%.","Minden futtatás tiszta környezetből induljon, az LLM-bírákat kalibráld emberekhez, a feladatokat pedig 20-50 valódi hibából építsd.",[77,80,83,86,89],{"q":78,"a":79},"Mi a trajektória-értékelés MI-ügynököknél?","A trajektória-értékelés azokat a lépéseket pontozza, amelyeket az ügynök megtett: mely eszközöket hívta meg, milyen sorrendben és milyen argumentumokkal. Kiegészíti az eredményértékelést, amely a környezet végállapotát vizsgálja, például hogy létezik-e visszatérítési rekord. A trajektóriát főleg a minden úton kötelező szabályokra érdemes használni.",{"q":81,"a":82},"Mi a különbség a pass@k és a pass^k között?","A pass@k annak valószínűsége, hogy k próbálkozásból legalább egy sikeres, ezért k növekedésével nő. A pass^k annak valószínűsége, hogy mind a k sikeres, ezért csökken. Kódoló ügynököknél elég a pass@k, mert egyetlen működő javítás is elég; az ügyfelekkel érintkező ügynököket a pass^k alapján kell megítélni, mert minden ügyfél egyetlen próbálkozást kap.",{"q":84,"a":85},"Megköveteljen-e az ügynök-eval egy pontos eszközhívási sorrendet?","Csak ott, ahol a sorrend maga a szabály, például az ügyfél ellenőrzése a visszatérítés előtt. Máshol lazább módokat, például supersetet vagy subsetet használj, vagy az eredményt pontozd. Az Anthropic beszámol egy esetről, amikor egy modell az eval szerint elbukott, mert olyan kiskaput talált a szabályzatban, amely jobb eredményt adott a felhasználónak.",{"q":87,"a":88},"Hány feladat kell az ügynök értékelésének elkezdéséhez?","Az Anthropic szerint 20-50 egyszerű, valódi hibákból vett feladat jó kezdet, mert a korai változtatásoknak nagy a hatásuk, amelyet kis minta is kimutat. Minden feladatot többször futtass, és bővítsd a készletet, ahogy az ügynök érik.",{"q":90,"a":91},"Használhatok LLM-et bíróként az ügynökátiratokhoz?","Igen, olyan minőségekre, amelyeket kód nem tud ellenőrizni, például hogy értelmes volt-e egy tisztázó kérdés. Dimenziónként egy rubrikapontot használj, adj a bírónak Unknown lehetőséget, többlépéses feladatoknál adj részpontot, és egy mintán kalibráld emberi pontozáshoz.",[93,96,99,102,105,108,111,114,117,120,123],{"id":94,"title":95},"outcome-vs-trajectory","Eredmény és trajektória: a két dolog, amit pontozol",{"id":97,"title":98},"three-kinds-of-graders","Kód-, modell- és emberi értékelők",{"id":100,"title":101},"trajectory-matching","Trajektóriaegyeztetés: strict, unordered, subset, superset",{"id":103,"title":104},"grade-outcomes-not-paths","Először az eredményt pontozd, az utat csak az invariánsokra",{"id":106,"title":107},"pass-at-k-vs-pass-hat-k","pass@k és pass^k: egy futtatás még nem mérés",{"id":109,"title":110},"isolated-environments","Izolált környezet, különben hazudik az eval",{"id":112,"title":113},"llm-judges-for-trajectories","LLM-bírák trajektóriákhoz",{"id":115,"title":116},"capability-and-regression-suites","Képességmérő és regressziós készletek, és honnan jönnek a feladatok",{"id":118,"title":119},"tooling","Eszközök: hol élnek a trace-ek és az értékelők",{"id":121,"title":122},"checklist","Ellenőrzőlista",{"id":124,"title":125},"sources","Források",[127,140,149,152,175,178,187,188,191,229,232,233,245,278,301,303,332,333,336,343,345,353,354,364,371,374,375,378,402,403,410,432,433,444,452,459,460,478,479,498,511,512],{"type":128,"content":129},"paragraph",[130,131,135,136,139],"Egy ügynök, amely azt írja, hogy \"a visszatérítést feldolgoztuk\", és egy ügynök, amely ténylegesen fel is dolgozta, a chatnaplóban ugyanúgy néz ki. Ügynököt értékelni annyit jelent, mint az utolsó üzeneten túlra nézni: az ",{"tag":132,"children":133},"strong",[134],"eredményre"," (mi változott a világban) és a ",{"tag":132,"children":137},[138],"trajektóriára"," (mely eszközöket hívta meg, milyen sorrendben, milyen argumentumokkal). Ha csak a végső szöveget pontozod, olyan ügynököd lesz, amely átmegy az evalokon, de cserben hagyja az ügyfeleket.",{"type":128,"content":141},[142,143,148],"Ez a cikk az ",{"tag":144,"to":145,"children":146},"link","\u002Fblog\u002Fllm-evals-for-product-features",[147],"LLM evalok termékfunkciókhoz"," című írás ügynökökre szabott folytatása. Szó lesz a fogalmakról, a háromféle értékelőről (grader), a trajektóriaegyeztetésről az agentevals, a DeepEval és a Ragas segítségével, arról, miért fontosabb a pass^k a pass@1-nél az ügyfelekkel érintkező ügynököknél, és hogyan akadályozhatod meg, hogy az eval környezet félrevezessen.",{"type":150,"level":151,"id":94,"text":95},"heading",2,{"type":128,"content":153},[154,155,158,159,162,163,166,167,170,171,174],"Az Anthropic 2026 januári útmutatója átvételre érdemes fogalomkészletet ad. A ",{"tag":132,"children":156},[157],"feladat"," (task) egy tesztesetet jelent bemenetekkel és sikerkritériumokkal; minden próbálkozás egy ",{"tag":132,"children":160},[161],"futtatás"," (trial). Az ",{"tag":132,"children":164},[165],"értékelő"," (grader) a futtatás valamely aspektusát pontozza. Az ",{"tag":132,"children":168},[169],"átirat"," (transcript, más néven trace vagy trajektória) a teljes feljegyzés: kimenetek, eszközhívások, érvelés, köztes eredmények. Az ",{"tag":132,"children":172},[173],"eredmény"," (outcome) a környezet végállapota. Az ottani példa: egy repülőjegy-foglaló ügynök írhatja, hogy \"a járatát lefoglaltuk\", de az eredmény az, hogy létezik-e foglalás az adatbázisban.",{"type":128,"content":176},[177],"A τ-bench, az egyik referencia ügynök-benchmark, pontosan így értékel: a beszélgetés végén az adatbázis állapotát összeveti egy annotált célállapottal. Ez a legerősebb egyedi ellenőrzés, amit építhetsz, mert nem az érdekli, mit mondott az ügynök, hanem csak az, hogy mit tett.",{"type":179,"attrs":180,"inner":184,"caption":185},"diagram",{"viewBox":181,"role":182,"aria-labelledby":183},"0 0 720 300","img","tr-graders-t tr-graders-d","\u003Ctitle id=\"tr-graders-t\">Trajektória-értékelők és eredményértékelők\u003C\u002Ftitle>\u003Cdesc id=\"tr-graders-d\">Egy futtatás a feladattól eszközhívások sorozatán át a végső üzenetig tart. A trajektória-értékelők az eszközhívások sorrendjét és argumentumait olvassák. Az eredményértékelők figyelmen kívül hagyják a beszélgetést, és a környezet végállapotát vetik össze a célállapottal. A végső üzenet önmagában a leggyengébb jel.\u003C\u002Fdesc>\u003Cdefs>\u003Cmarker id=\"ah-traj\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head\" \u002F>\u003C\u002Fmarker>\u003C\u002Fdefs>\u003Crect x=\"10\" y=\"120\" width=\"132\" height=\"60\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"76\" y=\"146\" text-anchor=\"middle\" class=\"d-text\">feladat\u003C\u002Ftext>\u003Ctext x=\"76\" y=\"166\" text-anchor=\"middle\" class=\"d-small\">felhasználói kérés\u003C\u002Ftext>\u003Crect x=\"152\" y=\"120\" width=\"132\" height=\"60\" rx=\"10\" class=\"d-sky\" \u002F>\u003Ctext x=\"218\" y=\"146\" text-anchor=\"middle\" class=\"d-text\">1. eszközhívás\u003C\u002Ftext>\u003Ctext x=\"218\" y=\"166\" text-anchor=\"middle\" class=\"d-small\">lookup_order\u003C\u002Ftext>\u003Crect x=\"294\" y=\"120\" width=\"132\" height=\"60\" rx=\"10\" class=\"d-sky\" \u002F>\u003Ctext x=\"360\" y=\"146\" text-anchor=\"middle\" class=\"d-text\">2. eszközhívás\u003C\u002Ftext>\u003Ctext x=\"360\" y=\"166\" text-anchor=\"middle\" class=\"d-small\">verify_customer\u003C\u002Ftext>\u003Crect x=\"436\" y=\"120\" width=\"132\" height=\"60\" rx=\"10\" class=\"d-sky\" \u002F>\u003Ctext x=\"502\" y=\"146\" text-anchor=\"middle\" class=\"d-text\">3. eszközhívás\u003C\u002Ftext>\u003Ctext x=\"502\" y=\"166\" text-anchor=\"middle\" class=\"d-small\">issue_refund\u003C\u002Ftext>\u003Crect x=\"578\" y=\"120\" width=\"132\" height=\"60\" rx=\"10\" class=\"d-fill-muted\" \u002F>\u003Ctext x=\"644\" y=\"146\" text-anchor=\"middle\" class=\"d-text\">végső üzenet\u003C\u002Ftext>\u003Ctext x=\"644\" y=\"166\" text-anchor=\"middle\" class=\"d-small\">\"visszatérítve\"\u003C\u002Ftext>\u003Cpath d=\"M142 150H160\" class=\"d-line\" marker-end=\"url(#ah-traj)\" \u002F>\u003Cpath d=\"M284 150H302\" class=\"d-line\" marker-end=\"url(#ah-traj)\" \u002F>\u003Cpath d=\"M426 150H444\" class=\"d-line\" marker-end=\"url(#ah-traj)\" \u002F>\u003Cpath d=\"M568 150H586\" class=\"d-line\" marker-end=\"url(#ah-traj)\" \u002F>\u003Crect x=\"152\" y=\"20\" width=\"416\" height=\"56\" rx=\"10\" class=\"d-gold\" \u002F>\u003Ctext x=\"360\" y=\"44\" text-anchor=\"middle\" class=\"d-text\">trajektória-értékelő\u003C\u002Ftext>\u003Ctext x=\"360\" y=\"64\" text-anchor=\"middle\" class=\"d-small\">sorrend, argumentumok\u003C\u002Ftext>\u003Cpath d=\"M218 118V78\" class=\"d-line d-dash\" marker-end=\"url(#ah-traj)\" \u002F>\u003Cpath d=\"M360 118V78\" class=\"d-line d-dash\" marker-end=\"url(#ah-traj)\" \u002F>\u003Cpath d=\"M502 118V78\" class=\"d-line d-dash\" marker-end=\"url(#ah-traj)\" \u002F>\u003Crect x=\"294\" y=\"230\" width=\"274\" height=\"56\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"431\" y=\"254\" text-anchor=\"middle\" class=\"d-text\">környezet\u003C\u002Ftext>\u003Ctext x=\"431\" y=\"274\" text-anchor=\"middle\" class=\"d-small\">orders, refunds táblák\u003C\u002Ftext>\u003Cpath d=\"M502 180V228\" class=\"d-line-accent\" marker-end=\"url(#ah-traj)\" \u002F>\u003Crect x=\"20\" y=\"230\" width=\"230\" height=\"56\" rx=\"10\" class=\"d-mint\" \u002F>\u003Ctext x=\"135\" y=\"254\" text-anchor=\"middle\" class=\"d-text\">eredményértékelő\u003C\u002Ftext>\u003Ctext x=\"135\" y=\"274\" text-anchor=\"middle\" class=\"d-small\">DB-állapot = cél\u003C\u002Ftext>\u003Cpath d=\"M294 258H252\" class=\"d-line-accent\" marker-end=\"url(#ah-traj)\" \u002F>",[186],"A trajektóriát azokra a szabályokra pontozd, amelyeknek útközben teljesülniük kell, az eredményt pedig arra, ami ténylegesen megváltozott. A végső üzenet a három közül a legkevésbé megbízható.",{"type":150,"level":151,"id":97,"text":98},{"type":128,"content":189},[190],"Minden értékelő vagy az átiratot, vagy az eredményt vizsgálja. Az Anthropic útmutatója három családra osztja őket, és egy jó ügynök-eval mindhármat vegyíti:",{"type":192,"head":193,"rows":202},"table",[194,196,198,200],[195],"Értékelő",[197],"Jellemző ellenőrzések",[199],"Erősségek",[201],"Gyengeségek",[203,213,221],[204,207,209,211],[205,206],"tag","children",[208],"Eredmény ellenőrzése, használt eszközhívások és paramétereik, lépésszám, tokenhasználat, string- és regex-egyezés, tesztek",[210],"Gyors, olcsó, objektív, reprodukálható",[212],"Törékeny az érvényes változatokkal szemben; kevés árnyalat",[214,215,217,219],[205,206],[216],"Rubrikás pontozás, természetes nyelvű állítások, páros összehasonlítás, referencia alapú értékelés",[218],"Rugalmas, kezeli a nyitott kimenetet",[220],"Nem determinisztikus, drágább, emberekhez kell kalibrálni",[222,223,225,227],[205,206],[224],"Szakértői átnézés, szúrópróbák, A\u002FB tesztek",[226],"Aranystandard, megfelel a szakértői ítéletnek",[228],"Lassú és drága; a többiek kalibrálására használd",{"type":128,"content":230},[231],"A pontszámok kombinálhatók súlyozott összegként egy küszöbhöz mérve, binárisan (mindennek át kell mennie) vagy vegyesen. Üzleti ügynököknél nálam az alapeset: bináris a biztonsági szempontból fontos kódellenőrzéseknél (soha nincs visszatérítés ellenőrzés nélkül), súlyozott minden másnál.",{"type":150,"level":151,"id":100,"text":101},{"type":128,"content":234},[235,236,239,240,244],"Ha van egy referencia-trajektóriád, a kérdés az, mennyire pontosan kell követnie az ügynöknek. A LangChain nyílt forráskódú ",{"tag":237,"href":49,"children":238},"a",[25]," csomagja a négy hasznos választ ",{"tag":241,"children":242},"code",[243],"trajectory_match_mode"," értékekként nevezi meg:",{"type":192,"head":246,"rows":253},[247,249,251],[248],"Mód",[250],"Akkor megy át, ha",[252],"Mire való",[254,260,266,272],[255,256,258],[205,206],[257],"Ugyanazok az üzenetek, ugyanabban a sorrendben, ugyanazokkal az eszközhívásokkal (az üzenetszöveg eltérhet)",[259],"Folyamatok, ahol a sorrend maga a szabály: előbb ellenőrzés, aztán visszatérítés",[261,262,264],[205,206],[263],"Ugyanazok az eszközhívások, tetszőleges sorrendben",[265],"Információgyűjtés, ahol minden forrást meg kell nézni",[267,268,270],[205,206],[269],"Az ügynök nem hívott a referencián túli eszközt",[271],"Védelem a felesleges, drága vagy kockázatos hívások ellen",[273,274,276],[205,206],[275],"Az ügynök legalább a referencia eszközeit meghívta",[277],"Kötelező lépések, további lekérdezések megengedettek",{"type":128,"content":279},[280,281,284,285,288,289,292,293,296,297,300],"Az argumentumok egyeztetése külön történik. Alapértelmezésben az agentevals azonos argumentumokat vár; a ",{"tag":241,"children":282},[283],"tool_args_match_mode"," értéke lehet ",{"tag":241,"children":286},[287],"ignore",", ",{"tag":241,"children":290},[291],"subset"," vagy ",{"tag":241,"children":294},[295],"superset",", a ",{"tag":241,"children":298},[299],"tool_args_match_overrides"," pedig eszközönkénti szabályokat fogad, akár saját összehasonlító függvényt is (például kis- és nagybetűtől független városneveket):",{"type":241,"code":302},"from agentevals.trajectory.match import create_trajectory_match_evaluator\n\n# Refund flow: the agent may look things up freely, but must make these calls.\nevaluator = create_trajectory_match_evaluator(\n    trajectory_match_mode=\"superset\",\n    tool_args_match_overrides={\n        \"issue_refund\": [\"order_id\"],          # only order_id must match exactly\n        \"lookup_order\": \"ignore\",              # any lookup arguments are fine\n    },\n)\nresult = evaluator(outputs=agent_messages, reference_outputs=reference_messages)\n# {'key': 'trajectory_superset_match', 'score': True, 'comment': None}",{"type":128,"content":304},[305,306,309,310,313,314,317,318,321,322,326,327,331],"Más keretrendszerek ugyanezt más nevekkel fedik le. A DeepEval ",{"tag":241,"children":307},[308],"ToolCorrectnessMetric"," metrikája a várt és a meghívott eszközöket veti össze, alapból név szerint, opcionálisan a bemeneti paraméterek és a kimenet alapján is, a sorrendre és a pontos egyezésre vonatkozó kapcsolókkal. A Ragas kínálja a ",{"tag":241,"children":311},[312],"ToolCallAccuracy"," (alapból szigorú sorrend, rugalmas móddal), a hívások precizitását és fedését mérő ",{"tag":241,"children":315},[316],"ToolCallF1"," és az ",{"tag":241,"children":319},[320],"AgentGoalAccuracy"," metrikát arra az esetre, ha csak az eredmény számít. Projektenként egy keretrendszert válassz; a fogalmak átvihetők. A ",{"tag":144,"to":323,"children":324},"\u002Ftools\u002Fdeepeval",[325],"DeepEval"," és a ",{"tag":144,"to":328,"children":329},"\u002Ftools\u002Fragas",[330],"Ragas"," értékelésemben a kompromisszumokról is írok.",{"type":150,"level":151,"id":103,"text":104},{"type":128,"content":334},[335],"A trajektóriáknál nagy a kísértés, hogy pontosan azt az utat követeld meg, amelyet te választottál volna. Az Anthropic óv ettől: az ügynökök rendszeresen találnak olyan érvényes megoldásokat, amelyekre az eval tervezője nem számított, ezért \"gyakran jobb azt pontozni, amit az ügynök létrehozott, nem az utat, amelyen odajutott\". A saját példájuk figyelemre méltó. Az Opus 4.5 egy τ²-bench repülőjegy-foglalási feladatot úgy oldott meg, hogy kiskaput talált a szabályzatban; az eval szerint \"elbukott\", közben a felhasználónak jobb eredményt adott.",{"type":128,"content":337},[338,339,342],"Ezért a trajektória-ellenőrzéseket ",{"tag":132,"children":340},[341],"invariánsokra"," használom, arra a néhány szabályra, amelynek minden úton teljesülnie kell, a sikert pedig az eredményen mérem. Az invariánsok általában rövidek, és könnyen kifejezhetők kódban:",{"type":241,"code":344},"def check_invariants(calls: list[dict]) -> list[str]:\n    \"\"\"calls: tool calls from the transcript, in order: {\"name\": ..., \"args\": {...}}\"\"\"\n    errors, verified = [], False\n    for c in calls:\n        if c[\"name\"] == \"verify_customer\":\n            verified = True\n        if c[\"name\"] == \"issue_refund\":\n            if not verified:\n                errors.append(\"refund before customer verification\")\n            if c[\"args\"][\"amount\"] > 500:\n                errors.append(\"refund above approval limit\")\n        if c[\"name\"] in {\"delete_account\", \"send_bulk_email\"}:\n            errors.append(f\"forbidden tool: {c['name']}\")\n    if len(calls) > 25:\n        errors.append(f\"{len(calls)} tool calls, budget is 25\")\n    return errors",{"type":128,"content":346},[347,348,352],"Ez bináris és olcsó, minden futtatáson lefut, és nem bünteti a kreatív utakat. Az adatbázis elleni eredményellenőrzéssel kombinálva elkapod a két legfontosabb hibát: az ügynök rossz dolgot tett, vagy a jó dolgot tiltott módon tette. Arról, hogy mely műveletekhez kell egyáltalán emberi jóváhagyás, a ",{"tag":144,"to":349,"children":350},"\u002Fblog\u002Fhuman-in-the-loop-ai-agents",[351],"human in the loop MI-ügynököknél"," című cikkem szól.",{"type":150,"level":151,"id":106,"text":107},{"type":128,"content":355},[356,357,360,361,363],"Az ügynökök nem determinisztikusak, így egy feladat, amely egyszer átment, a következő futtatáson elbukhat. Ezt két metrika írja le. A ",{"tag":132,"children":358},[359],"pass@k"," annak valószínűsége, hogy k futtatásból legalább egy sikeres; k növekedésével nő. A ",{"tag":132,"children":362},[12]," annak valószínűsége, hogy mind a k futtatás sikeres; k növekedésével csökken. Az Anthropic útmutatójának számítása: egy 75%-os futtatásonkénti sikerarányú ügynök három futtatásból mindhármat 0,75³ ≈ 42% valószínűséggel teljesíti.",{"type":179,"attrs":365,"inner":368,"caption":369},{"viewBox":366,"role":182,"aria-labelledby":367},"0 0 720 290","pk-chart-t pk-chart-d","\u003Ctitle id=\"pk-chart-t\">pass@k és pass^k 75%-os futtatásonkénti sikeraránynál\u003C\u002Ftitle>\u003Cdesc id=\"pk-chart-d\">Oszlopdiagram. k egyenlő 1 esetén mindkét metrika 75 százalék. k egyenlő 3 esetén a pass@k 98 százalék, a pass^k 42 százalék. k egyenlő 10 esetén a pass@k 99,9 százalék feletti, a pass^k 6 százalék.\u003C\u002Fdesc>\u003Cpath d=\"M60 250H700\" class=\"d-line\" \u002F>\u003Crect x=\"110\" y=\"100\" width=\"56\" height=\"150\" class=\"d-fill-accent\" \u002F>\u003Crect x=\"174\" y=\"100\" width=\"56\" height=\"150\" class=\"d-fill-muted\" \u002F>\u003Ctext x=\"138\" y=\"92\" text-anchor=\"middle\" class=\"d-small\">75%\u003C\u002Ftext>\u003Ctext x=\"202\" y=\"92\" text-anchor=\"middle\" class=\"d-small\">75%\u003C\u002Ftext>\u003Ctext x=\"170\" y=\"274\" text-anchor=\"middle\" class=\"d-label\">k = 1\u003C\u002Ftext>\u003Crect x=\"310\" y=\"53\" width=\"56\" height=\"197\" class=\"d-fill-accent\" \u002F>\u003Crect x=\"374\" y=\"166\" width=\"56\" height=\"84\" class=\"d-fill-muted\" \u002F>\u003Ctext x=\"338\" y=\"45\" text-anchor=\"middle\" class=\"d-small\">98%\u003C\u002Ftext>\u003Ctext x=\"402\" y=\"158\" text-anchor=\"middle\" class=\"d-small\">42%\u003C\u002Ftext>\u003Ctext x=\"370\" y=\"274\" text-anchor=\"middle\" class=\"d-label\">k = 3\u003C\u002Ftext>\u003Crect x=\"510\" y=\"50\" width=\"56\" height=\"200\" class=\"d-fill-accent\" \u002F>\u003Crect x=\"574\" y=\"239\" width=\"56\" height=\"11\" class=\"d-fill-muted\" \u002F>\u003Ctext x=\"538\" y=\"42\" text-anchor=\"middle\" class=\"d-small\">>99,9%\u003C\u002Ftext>\u003Ctext x=\"602\" y=\"231\" text-anchor=\"middle\" class=\"d-small\">6%\u003C\u002Ftext>\u003Ctext x=\"570\" y=\"274\" text-anchor=\"middle\" class=\"d-label\">k = 10\u003C\u002Ftext>\u003Crect x=\"70\" y=\"8\" width=\"14\" height=\"14\" class=\"d-fill-accent\" \u002F>\u003Ctext x=\"92\" y=\"20\" text-anchor=\"start\" class=\"d-small\">pass@k (legalább egy)\u003C\u002Ftext>\u003Crect x=\"70\" y=\"28\" width=\"14\" height=\"14\" class=\"d-fill-muted\" \u002F>\u003Ctext x=\"92\" y=\"40\" text-anchor=\"start\" class=\"d-small\">pass^k (mind)\u003C\u002Ftext>",[370],"Ugyanaz az ügynök a pass@k szerint szinte tökéletes, a pass^k szerint megbízhatatlan. Az ügyfelekkel érintkező ügynököket a második alapján kell megítélni.",{"type":128,"content":372},[373],"A τ-bench pontosan emiatt a rés miatt vezette be a pass^k-t. A 2024-es cikkben még az olyan korszerű függvényhívó ügynökök is, mint a gpt-4o, a feladatok kevesebb mint felét oldották meg, a kiskereskedelmi tartományban pedig a pass^8 25% alatt volt. Egy kódoló ügynöknek elég a pass@k, mert egyetlen működő javítás is elég. Egy ügyfélszolgálati ügynöknek nem: minden ügyfél egyetlen futtatást kap. Minden feladatot legalább három-öt alkalommal futtass, és mindkét számot jelentsd.",{"type":150,"level":151,"id":109,"text":110},{"type":128,"content":376},[377],"Az eredményalapú értékeléshez valódi környezet kell: feltöltött adatbázis, sandbox a fájl- és shell-eszközökhöz, mockolt külső API-k. Az Anthropic hangsúlyozza, hogy minden futtatásnak tiszta állapotból kell indulnia, mert a megosztott állapot korrelált hibákat okoz, és felfújhatja a pontszámokat. A példájuk: belső evalokban a Claude egyes feladatoknál tisztességtelen előnyhöz jutott azzal, hogy elolvasta a korábbi futtatások által hátrahagyott git-előzményeket.",{"type":379,"ordered":380,"items":381},"list",false,[382,387,392,397],[383,386],{"tag":132,"children":384},[385],"Futtatásonként új seed."," Indítsd az adatbázist egy fixture-ből, futtass, vesd össze a célállapottal, aztán dobd el.",[388,391],{"tag":132,"children":389},[390],"Fagyaszd be az időt és a véletlent,"," ahol az eszközök függnek tőlük (\"a múlt heti rendelések\").",[393,396],{"tag":132,"children":394},[395],"A külvilágot determinisztikusan mockold,"," de a hibaválaszok maradjanak valósághűek: az időtúllépés, a 429-es és a validációs hiba is része annak, amit tesztelsz.",[398,401],{"tag":132,"children":399},[400],"A harness legyen azonos az élessel:"," ugyanaz a rendszerprompt, ugyanazok az eszközleírások, ugyanazok a korlátok. Az Anthropic lényegi megállapítása, hogy a modellt és a harnesst együtt értékeled.",{"type":150,"level":151,"id":112,"text":113},{"type":128,"content":404},[405,406,409],"Bizonyos minőségeket nagy léptékben csak modell tud pontozni: értelmes tisztázó kérdést tett-e fel az ügynök, udvariasan elmagyarázta-e az elutasítást, észszerű volt-e a terv. Az agentevals tartalmazza a ",{"tag":241,"children":407},[408],"create_trajectory_llm_as_judge"," függvényt egy alapértelmezett trajektória-pontossági prompttal; a legtöbb eval keretrendszerben van megfelelője. A használat szabályai ugyanazok, mint bármely bírónál, csak szigorúbbak, mert az átiratok hosszúak:",{"type":379,"ordered":380,"items":411},[412,417,422,427],[413,416],{"tag":132,"children":414},[415],"Dimenziónként egy rubrikapont,"," mindegyikhez konkrét leírás arról, mi számít sikernek és kudarcnak.",[418,421],{"tag":132,"children":419},[420],"Adj kiutat a bírónak."," Az Anthropic kifejezett \"Unknown\" választ javasol arra az esetre, ha az átiratból hiányzik az információ, hogy a bíró ne találgasson.",[423,426],{"tag":132,"children":424},[425],"Többlépéses feladatoknál adj részpontot."," Egy ügyfélszolgálati ügynök, amely azonosította a problémát és ellenőrizte az ügyfelet, de a visszatérítés nem sikerült neki, jobb annál, amely azonnal elbukik, és ezt a pontszámaidnak is mutatniuk kell.",[428,431],{"tag":132,"children":429},[430],"Kalibráld emberekhez"," egy mintán, mielőtt megbízol a bíróban, és ellenőrizd újra, ha bírómodellt cserélsz.",{"type":150,"level":151,"id":115,"text":116},{"type":128,"content":434},[435,436,439,440,443],"Az Anthropic kétféle készletet különít el. A ",{"tag":132,"children":437},[438],"képességmérő evalok"," azt kérdezik, mire képes az ügynök, és alacsony sikeraránnyal kell indulniuk, hogy legyen hová fejlődni. A ",{"tag":132,"children":441},[442],"regressziós evalok"," azt kérdezik, tudja-e még, amit korábban tudott, és 100% közelében kell lenniük. Ahogy a képességmérő feladatok megbízhatóvá válnak, átkerülnek a regressziós készletbe. Ha egy képességmérő készlet a 100%-hoz közelít, már semmit sem mond; az ő példájuk a SWE-bench Verified, ahol a pontszámok 30% körül indultak, a frontier modellek pedig mára 80% fölött járnak.",{"type":128,"content":445},[446,447,451],"Az, hogy honnan jönnek a feladatok, többet számít, mint a számuk. Az Anthropic azt tanácsolja, hogy korán kezdj 20-50 egyszerű, valódi hibákból vett feladattal, mert a korai változtatásoknak nagy a hatásuk, és kis minta is kimutatja őket. Az én forrásaim, érték szerinti sorrendben: éles trace-ek, ahol valami félrement (az ",{"tag":144,"to":448,"children":449},"\u002Fblog\u002Fagent-observability-opentelemetry",[450],"observability pipeline-odból","), a kiadás előtti kézi ellenőrzéseid és az ügyfélszolgálati jegyek. A szintetikus feladatok hézagokat töltenek ki; nem ezekre kell építeni.",{"type":453,"variant":454,"title":455,"body":456},"callout","tip","Olvasd el az átiratokat",[457],[458],"Egyetlen metrika sem helyettesíti a sikertelen futtatások elolvasását. Az Anthropic kritikus készségnek nevezi: egy elbukott átiratból kiderül, hogy az ügynök valóban hibázott-e, vagy az értékelőd utasított el egy érvényes megoldást. Szánj rá heti egy órát, és az értékelőket ugyanolyan gyakran javítsd, mint a promptokat.",{"type":150,"level":151,"id":118,"text":119},{"type":128,"content":461},[462,463,467,468,472,473,477],"Három dologra van szükséged: a teljes trace-ek rögzítésére, egy futtatóra, amely a feladatokat többször végrehajtja izolált környezetben, és egy helyre, ahol a pontszámok időben tárolódnak. Az OpenAI platformja trace grading funkciót kínál, amely a dashboardon pontozza az ügynök-trace-eket, és eval futtatásokká alakítja őket. A nyílt forráskódú keretrendszerek (az agentevals pytest- vagy Vitest-integrációval, a DeepEval, a Ragas, a ",{"tag":144,"to":464,"children":465},"\u002Ftools\u002Fpromptfoo",[466],"Promptfoo",") a CI-ban futnak. Az olyan observability platformok, mint a ",{"tag":144,"to":469,"children":470},"\u002Ftools\u002Flangfuse",[471],"Langfuse",", az éles trace-eket adatkészletekhez kötik. A választás kevésbé fontos, mint a szokás: minden ügynökváltoztatás lefuttatja a regressziós készletet kiadás előtt, és az ",{"tag":144,"to":474,"children":475},"\u002Fblog\u002Fagent-loop-explained",[476],"ügynökhurok"," keretei is részei annak, amit ellenőrzöl.",{"type":150,"level":151,"id":121,"text":122},{"type":379,"ordered":480,"items":481},true,[482,484,486,488,490,492,494,496],[483],"Az eredményt a környezet állapotához mérd, ne a végső üzenethez.",[485],"A néhány kötelező szabályt kódban írt invariánsként fogalmazd meg a trajektórián.",[487],"A referencia-trajektóriákhoz a legengedékenyebb egyeztetési módot használd, amely még elkapja a hibát (superset vagy subset a strict előtt).",[489],"Minden feladatot három-öt alkalommal futtass; jelentsd a pass@1-et és a pass^k-t.",[491],"Minden futtatás tiszta, feltöltött, az éleshez hasonló környezetből induljon.",[493],"Az LLM-bírák dimenziónként egy rubrikaponttal, Unknown opcióval és részpontokkal dolgozzanak, emberekhez kalibrálva.",[495],"Tarts fenn képességmérő és regressziós készletet; a feladatok lépjenek át közöttük.",[497],"A feladatokat valódi hibákból merítsd, és hetente olvasd el a sikertelen átiratokat.",{"type":128,"content":499},[500,501,505,506,510],"A dokumentumokban kereső ügynökök visszakeresési oldaláról a ",{"tag":144,"to":502,"children":503},"\u002Fblog\u002Frag-evaluation-metrics",[504],"RAG értékeléséről"," szóló cikk írja le a metrikákat. Ha segítség kell ahhoz, hogy a csapatodnak ügynök-evalokat építs, nézd meg az ",{"tag":144,"to":507,"children":508},"\u002Fexpertise\u002Fai-engineer",[509],"AI engineering"," oldalt.",{"type":150,"level":151,"id":124,"text":125},{"type":379,"ordered":480,"items":513},[514,517,520,523,526,529,532],[515],{"tag":237,"href":40,"children":516},[39],[518],{"tag":237,"href":43,"children":519},[42],[521],{"tag":237,"href":46,"children":522},[45],[524],{"tag":237,"href":49,"children":525},[48],[527],{"tag":237,"href":52,"children":528},[51],[530],{"tag":237,"href":55,"children":531},[54],[533],{"tag":237,"href":58,"children":534},[57],[536,588,642,689],{"slug":537,"published":5,"minutes":6,"category":7,"tags":538,"keywords":544,"about":556,"sources":563,"cover":582,"og":583,"expertise":61,"locales":584,"lang":65,"title":585,"description":586,"coverAlt":587},"structured-outputs-json-schema-llm",[539,540,541,542,543],"Structured outputs","JSON Schema","Constrained decoding","LLM APIs","Validation",[545,546,547,548,549,550,551,552,553,554,555],"structured outputs LLM","JSON schema LLM output","OpenAI structured outputs strict mode","Claude structured outputs","Gemini structured output","constrained decoding","JSON mode vs structured outputs","validate LLM JSON output","Zod structured output","Pydantic LLM output","vLLM structured outputs",[557,560,562],{"name":558,"url":559},"JSON","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FJSON",{"name":540,"url":561},"https:\u002F\u002Fjson-schema.org\u002F",{"name":35,"url":36},[564,567,570,573,576,579],{"title":565,"url":566},"OpenAI API docs: Structured model outputs","https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fguides\u002Fstructured-outputs",{"title":568,"url":569},"Claude API docs: Structured outputs","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fstructured-outputs",{"title":571,"url":572},"Gemini API docs: Structured outputs","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fstructured-output",{"title":574,"url":575},"vLLM docs: Structured Outputs","https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Ffeatures\u002Fstructured_outputs.html",{"title":577,"url":578},"Tam et al.: Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of LLMs (2024)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.02442",{"title":580,"url":581},"Geng et al.: JSONSchemaBench: A Rigorous Benchmark of Structured Outputs for Language Models (2025)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.10868","\u002Fimages\u002Fblog\u002Fstructured-outputs-json-schema-llm\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fstructured-outputs-json-schema-llm\u002Fog.jpg",[63,64,65],"Strukturált kimenet JSON Schemával: mit fed le a garancia, és mit nem","Hogyan működik a strukturált kimenet és a korlátozott dekódolás az OpenAI, Claude, Gemini és vLLM esetén, mely sémaszabályok számítanak, és mit validálj.","Egy JSON Schema nyelvtanná fordul, amely tokeneket maszkol, és sémának megfelelő JSON-t állít elő, amely ezután üzleti validáción megy át.",{"slug":589,"published":5,"minutes":590,"category":7,"tags":591,"keywords":597,"about":609,"sources":616,"cover":636,"og":637,"expertise":61,"locales":638,"lang":65,"title":639,"description":640,"coverAlt":641},"llm-model-migration-regression-testing",10,[592,593,594,595,596],"Model migration","Regression testing","Deprecations","LLM evals","Canary releases",[598,599,600,601,602,603,604,605,606,607,608],"LLM model migration","LLM regression testing","model deprecation OpenAI","Claude model deprecation","switch LLM model without breaking","LLM model upgrade checklist","prompt regression testing","shadow testing LLM","model retirement date","golden dataset LLM","LLM drift monitoring",[610,612,613],{"name":593,"url":611},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FRegression_testing",{"name":35,"url":36},{"name":614,"url":615},"Feature toggle","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FFeature_toggle",[617,620,623,626,629,632,635],{"title":618,"url":619},"Claude API docs: Model deprecations","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fabout-claude\u002Fmodel-deprecations",{"title":621,"url":622},"OpenAI API docs: Deprecations","https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fdeprecations",{"title":624,"url":625},"Gemini API docs: Models and version name patterns","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fmodels",{"title":627,"url":628},"Claude API docs: Claude Opus 5.5 migration guide","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fmodels\u002Fopus-5-5\u002Fmigration-guide",{"title":630,"url":631},"Chen, Zaharia, Zou: How is ChatGPT's behavior changing over time? (2023)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.09009",{"title":633,"url":634},"Sclar et al.: Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design (2023)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.11324",{"title":39,"url":40},"\u002Fimages\u002Fblog\u002Fllm-model-migration-regression-testing\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-model-migration-regression-testing\u002Fog.jpg",[63,64,65],"LLM-modellmigráció regresszió nélkül: elavulás, evalok, árnyékforgalom","Forgatókönyv LLM-modellek cseréjéhez: elavulási határidők, szerződésjavítás, regressziós készlet, prompthangolás, árnyékforgalom és canary.","Öt migrációs szakasz a leltártól és a szerződésjavítástól az offline evalokon és az árnyékforgalmon át a visszaállítható canary bevezetésig.",{"slug":643,"published":5,"minutes":644,"category":7,"tags":645,"keywords":651,"about":662,"sources":670,"cover":683,"og":684,"expertise":61,"locales":685,"lang":65,"title":686,"description":687,"coverAlt":688},"semantic-caching-llm-responses",6,[646,647,648,649,650],"Semantic cache","LLM cost","Latency","Embeddings","Redis",[652,653,654,655,656,657,658,659,660,661],"semantic caching llm","semantic cache","llm response cache","gptcache","semantic cache similarity threshold","prompt caching vs semantic caching","reduce llm api cost","cache llm answers redis","semantic cache false positive","llm cache invalidation",[663,666,669],{"name":664,"url":665},"Cache (computing)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCache_(computing)",{"name":667,"url":668},"Sentence embedding","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FSentence_embedding",{"name":35,"url":36},[671,674,677,680],{"title":672,"url":673},"Regmi and Pun: GPT Semantic Cache: Reducing LLM Costs and Latency via Semantic Embedding Caching (2024)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05276",{"title":675,"url":676},"Zilliz: GPTCache README (modules, similarity evaluation, eviction)","https:\u002F\u002Fgithub.com\u002Fzilliztech\u002FGPTCache",{"title":678,"url":679},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching",{"title":681,"url":682},"pgvector README: vector types and indexes","https:\u002F\u002Fgithub.com\u002Fpgvector\u002Fpgvector","\u002Fimages\u002Fblog\u002Fsemantic-caching-llm-responses\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fsemantic-caching-llm-responses\u002Fog.jpg",[63,64,65],"Szemantikus gyorsítótár LLM-alkalmazásokhoz: mikor biztonságos újrahasznosítani a válaszokat, és mikor nem","Hogyan használják újra a szemantikus cache-ek az LLM-válaszokat hasonló kérdésekre, miben mások, mint a prompt caching, és hogyan kerüld el a téves találatokat.","Egy új kérdést embeddelünk és a tárolt kérdésekkel vetünk össze; egy hasonlósági küszöb felett a tárolt választ kapjuk, alatta a modellt hívjuk.",{"slug":690,"published":691,"minutes":590,"category":7,"tags":692,"keywords":698,"about":707,"sources":717,"cover":787,"og":788,"expertise":61,"locales":789,"lang":65,"title":790,"description":791,"coverAlt":792},"self-hosted-llm-gdpr-cost","2026-10-09",[693,694,695,696,697],"Self-hosting","GDPR","vLLM","GPU cost","Open-weight models",[699,700,701,702,703,704,705,706],"self-hosted LLM GDPR","self-host LLM data protection","LLM GPU memory requirements","vLLM throughput benchmark","EU GPU cloud for LLMs","LLM API vs self-hosting break-even","open-weight LLM hardware cost","data processing agreement LLM",[708,711,712,715],{"name":709,"url":710},"General Data Protection Regulation","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FGeneral_Data_Protection_Regulation",{"name":35,"url":36},{"name":713,"url":714},"Graphics processing unit","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FGraphics_processing_unit",{"name":695,"url":716},"https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm",[718,721,724,727,730,733,736,739,742,745,748,751,754,757,760,763,766,769,772,775,778,781,784],{"title":719,"url":720},"openai\u002Fgpt-oss-120b model card (Hugging Face)","https:\u002F\u002Fhuggingface.co\u002Fopenai\u002Fgpt-oss-120b",{"title":722,"url":723},"mistralai\u002FMistral-Small-3.2-24B-Instruct-2506 model card (Hugging Face)","https:\u002F\u002Fhuggingface.co\u002Fmistralai\u002FMistral-Small-3.2-24B-Instruct-2506",{"title":725,"url":726},"meta-llama\u002FLlama-3.3-70B-Instruct model card (Hugging Face)","https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FLlama-3.3-70B-Instruct",{"title":728,"url":729},"mistralai\u002FMistral-Large-3-675B-Instruct-2512 model card (Hugging Face)","https:\u002F\u002Fhuggingface.co\u002Fmistralai\u002FMistral-Large-3-675B-Instruct-2512",{"title":731,"url":732},"vLLM blog: v0.6.0 performance update (September 2024)","https:\u002F\u002Fblog.vllm.ai\u002F2024\u002F09\u002F05\u002Fperf-update.html",{"title":734,"url":735},"vLLM documentation: engine arguments","https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Fconfiguration\u002Fengine_args.html",{"title":737,"url":738},"vLLM documentation: vllm bench serve","https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Fcli\u002Fbench\u002Fserve.html",{"title":740,"url":741},"SemiAnalysis InferenceX: Llama 3.3 70B on H100 vs H200","https:\u002F\u002Finferencex.semianalysis.com\u002Fcompare\u002Fllama-3-3-70b-h100-vs-h200",{"title":743,"url":744},"Scaleway GPU instances pricing","https:\u002F\u002Fwww.scaleway.com\u002Fen\u002Fpricing\u002Fgpu\u002F",{"title":746,"url":747},"Scaleway blog: a transparent update on Scaleway pricing (27 April 2026)","https:\u002F\u002Fwww.scaleway.com\u002Fen\u002Fblog\u002Fa-transparent-update-on-scaleway-pricing\u002F",{"title":749,"url":750},"Scaleway Generative APIs pricing","https:\u002F\u002Fwww.scaleway.com\u002Fen\u002Fpricing\u002Fmodel-as-a-service\u002F",{"title":752,"url":753},"OVHcloud public cloud price list","https:\u002F\u002Fwww.ovhcloud.com\u002Fen\u002Fpublic-cloud\u002Fprices\u002F",{"title":755,"url":756},"OVHcloud AI Endpoints","https:\u002F\u002Fwww.ovhcloud.com\u002Fen\u002Fpublic-cloud\u002Fai-endpoints\u002F",{"title":758,"url":759},"OVHcloud AI Endpoints model catalogue","https:\u002F\u002Fwww.ovhcloud.com\u002Fen\u002Fpublic-cloud\u002Fai-endpoints\u002Fcatalog\u002F",{"title":761,"url":762},"Hetzner dedicated GPU servers","https:\u002F\u002Fwww.hetzner.com\u002Fdedicated-rootserver\u002Fmatrix-gpu\u002F",{"title":764,"url":765},"NVIDIA newsroom: GeForce RTX 50 Series launch","https:\u002F\u002Fnvidianews.nvidia.com\u002Fnews\u002Fnvidia-blackwell-geforce-rtx-50-series-opens-new-world-of-ai-computer-graphics",{"title":767,"url":768},"NVIDIA GeForce RTX 5090","https:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fgeforce\u002Fgraphics-cards\u002F50-series\u002Frtx-5090\u002F",{"title":770,"url":771},"NVIDIA GeForce software licence","https:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fdrivers\u002Fgeforce-license\u002F",{"title":773,"url":774},"GDPR Article 28: processor","https:\u002F\u002Fgdpr-info.eu\u002Fart-28-gdpr\u002F",{"title":776,"url":777},"GDPR Article 44: general principle for transfers","https:\u002F\u002Fgdpr-info.eu\u002Fart-44-gdpr\u002F",{"title":779,"url":780},"European Commission: EU-US data transfers (Data Privacy Framework)","https:\u002F\u002Fcommission.europa.eu\u002Flaw\u002Flaw-topic\u002Fdata-protection\u002Finternational-dimension-data-protection\u002Feu-us-data-transfers_en",{"title":782,"url":783},"EDPB Opinion 28\u002F2024 on AI models (adopted 17 December 2024)","https:\u002F\u002Fwww.edpb.europa.eu\u002Fsystem\u002Ffiles\u002F2024-12\u002Fedpb_opinion_202428_ai-models_en.pdf",{"title":785,"url":786},"Mistral AI pricing","https:\u002F\u002Fmistral.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Fself-hosted-llm-gdpr-cost\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fself-hosted-llm-gdpr-cost\u002Fog.jpg",[63,64,65],"Saját LLM-üzemeltetés a GDPR miatt: mikor kell és mibe kerül","Saját LLM a GDPR miatt: mikor kell, mennyi GPU-memória kell a nyílt modellekhez, az EU-s árak 2026 októberében és a break-even millió tokenenként.","Borítókép a saját üzemeltetésű LLM-ekről a GDPR alatt: döntés a saját GPU-k és egy EU-s API között, break-even vonallal.",1792177150681]