[{"data":1,"prerenderedAt":752},["ShallowReactive",2],{"blog-deepeval-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":35,"cover":90,"og":91,"expertise":92,"locales":93,"lang":96,"title":97,"description":98,"coverAlt":99,"metaTitle":100,"takeaways":101,"faq":107,"toc":120,"blocks":148,"others":512},"deepeval","2026-10-06",8,"llmops",[9,10,11,12,13],"LLM evaluation","pytest","LLM-as-a-judge","Red teaming","Open source",[4,15,16,17,18,19,20,21],"deepeval vs ragas","llm evaluation framework","pytest for llm outputs","g-eval metric","llm judge cost","deepeval pricing","llm red teaming open source",[23,26,29,32],{"name":24,"url":25},"DeepEval","https:\u002F\u002Fdeepeval.com",{"name":27,"url":28},"Confident AI","https:\u002F\u002Fwww.confident-ai.com",{"name":30,"url":31},"Pytest","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPytest",{"name":33,"url":34},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[36,39,42,45,48,51,54,57,60,63,66,69,72,75,78,81,84,87],{"title":37,"url":38},"DeepEval documentation: getting started","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fgetting-started",{"title":40,"url":41},"GitHub: confident-ai\u002Fdeepeval, the README and licence","https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepeval",{"title":43,"url":44},"PyPI: deepeval, the latest release and Python requirement","https:\u002F\u002Fpypi.org\u002Fproject\u002Fdeepeval\u002F",{"title":46,"url":47},"DeepEval documentation: metrics introduction","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-introduction",{"title":49,"url":50},"DeepEval documentation: G-Eval","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-llm-evals",{"title":52,"url":53},"DeepEval documentation: Faithfulness","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-faithfulness",{"title":55,"url":56},"DeepEval documentation: Tool Correctness","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-tool-correctness",{"title":58,"url":59},"DeepEval documentation: generate goldens from documents","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fsynthesizer-generate-from-docs",{"title":61,"url":62},"DeepEval documentation: unit testing in CI\u002FCD","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fevaluation-unit-testing-in-ci-cd",{"title":64,"url":65},"DeepEval FAQ","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Ffaq",{"title":67,"url":68},"DeepEval documentation: data privacy","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fdata-privacy",{"title":70,"url":71},"GitHub: confident-ai\u002Fdeepteam, the red-teaming framework","https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepteam",{"title":73,"url":74},"Confident AI pricing","https:\u002F\u002Fwww.confident-ai.com\u002Fpricing",{"title":76,"url":77},"Confident AI documentation: data residency","https:\u002F\u002Fwww.confident-ai.com\u002Fdocs\u002Fsettings\u002Fdata-residency",{"title":79,"url":80},"Confident AI subprocessor list","https:\u002F\u002Fwww.confident-ai.com\u002Fsubprocessors-list",{"title":82,"url":83},"GitHub: explodinggradients\u002Fragas, the README","https:\u002F\u002Fgithub.com\u002Fexplodinggradients\u002Fragas",{"title":85,"url":86},"GitHub: promptfoo\u002Fpromptfoo, the README","https:\u002F\u002Fgithub.com\u002Fpromptfoo\u002Fpromptfoo",{"title":88,"url":89},"Braintrust pricing","https:\u002F\u002Fwww.braintrust.dev\u002Fpricing","\u002Fimages\u002Fblog\u002Fdeepeval\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepeval\u002Fog.jpg","ai-engineer",[94,95,96],"en","de","hu","DeepEval bemutató: pytest az LLM-kimenetekhez, és a bíró számlája","A DeepEval LLM-ellenőrzéseket futtat pytest-szerű tesztként, beépített bírómetrikákkal. Ingyenes könyvtár; a bíróhívások és az adatáramlás a valódi költség.","Három egymásra rakott sáv kis négyzettel a végén, nyilak egy magas oszlophoz koronghalom mellett.","DeepEval bemutató: pytest LLM-kimenetekhez · Balázs Csorba",[102,103,104,105,106],"A DeepEval Apache-2.0 licencű Python-keretrendszer, amely az LLM-ellenőrzéseket egységtesztként futtatja, és a könyvtár fiók nélkül is működik.","A legtöbb beépített metrika egy másik modellt használ bíróként, ezért minden futás költhet tokeneket, és eltérő pontszámot adhat.","Az alapbeállításban a bíró az OpenAI, így a tesztesetek elhagyják a hálózatodat. Egy helyi bíró, például az Ollama, bent tartja őket, de a minőségét neked kell mérned.","A Confident AI felhője ingyenes csomagot kínál, a Starter havi $200, a Team havi $2000, minden ügyfélnek adatfeldolgozási szerződéssel, és minden csomagban EU-régióval.","Válaszd a Ragas-t, a Promptfoo-t vagy a Braintrust-ot, ha Apache-2.0 metrikakészletet, deklaratív CLI-t red teaminggel vagy saját díjszabású, hosztolt felületet akarsz.",[108,111,114,117],{"q":109,"a":110},"Küld a DeepEval bárhova az adataimat?","Igen, a beállított bírómodellnek. Modell megadása nélkül a GYIK szerint a bíró alapértelmezetten az OpenAI. Az eredmények csak akkor jutnak el a Confident AI-hoz, ha kulcsot állítasz be, az alapértelmezett tárolási régió az Egyesült Államok, az EU pedig minden csomagban elérhető.",{"q":112,"a":113},"Mennyibe kerül a DeepEval?","A könyvtár Apache-2.0 licenc alatt ingyenes. A Confident AI-nak van ingyenes csomagja két férőhellyel és heti öt tesztfuttatással, a Starter havi $200, a Team havi $2000, havonta, szervezetenként számlázva. A bírói hívások ezen felül jönnek, és a választott modelltől függenek.",{"q":115,"a":116},"Megismételhetők a pontszámok?","Nem pontosan. A G-Eval dokumentáció szerint a metrika nem determinisztikus, ezért hagyj tartalékot a küszöbök körül, és futtasd újra a hibás esetet, mielőtt regressziónak tekintenéd. A Tool Correctness más, mert a magpontszáma determinisztikus.",{"q":118,"a":119},"Használhatok helyi modellt bíróként?","Igen. A metrikaoldal az Ollamát is felsorolja a bírók között, bármely más modellt pedig a DeepEvalBaseLLM osztály leszármaztatásával köthetsz be. Ellenőrizd a bírót olyan eseteken, amelyeket magad címkéztél, mert egy gyengébb bíró minden pontszámot elmozdít.",[121,124,127,130,133,136,139,142,145],{"id":122,"title":123},"what-it-is","Mi ez",{"id":125,"title":126},"how-it-works","Hogyan működik",{"id":128,"title":129},"getting-started","Első lépések",{"id":131,"title":132},"metrics-and-judge-cost","Metrikák, és mibe kerül a bíró",{"id":134,"title":135},"goldens-red-teaming-and-ci","Goldenek, red teaming és CI",{"id":137,"title":138},"cost-and-deployment","Költség és üzemeltetés",{"id":140,"title":141},"where-it-falls-short","Hol gyenge",{"id":143,"title":144},"verdict","Ítélet",{"id":146,"title":147},"sources","Források",[149,153,177,180,187,207,208,211,217,220,221,228,230,231,234,287,294,295,298,305,328,330,331,334,380,383,393,400,402,405,411,412,415,416,419,436,437],{"type":150,"content":151},"paragraph",[152],"A DeepEval egy nyílt forrású Python-keretrendszer, amely az LLM-ellenőrzéseket egységtesztként futtatja, több mint harminc beépített metrikával és egy opcionális felhőplatformmal, a Confident AI-val. Az ítélet előre: vedd, ha a mérnökeid Pythonban írnak, már futtatnak teszteket a CI-ben, és minden pull requestnél ellenőrizni akarod a modell viselkedését. Hagyd ki, ha az alapértelmezett OpenAI-bíró nem fogadható el az adataidhoz, vagy ha a nem mérnökök előbb egy hosztolt munkaterületet várnak.",{"type":150,"content":154},[155,156,161,162,166,167,171,172,176],"A DeepEval a ",{"tag":157,"to":158,"children":159},"link","\u002Fblog\u002Fragas",[160],"Ragas",", a ",{"tag":157,"to":163,"children":164},"\u002Fblog\u002Fpromptfoo",[165],"Promptfoo"," és a ",{"tag":157,"to":168,"children":169},"\u002Fblog\u002Fbraintrust",[170],"Braintrust"," mellett áll, amelyeket külön is bemutattam. A tesztek körüli folyamatról, a kézi trace-olvasástól a CI-kapuig, lásd: ",{"tag":157,"to":173,"children":174},"\u002Fblog\u002Fllm-evals-for-product-features",[175],"LLM-értékelések termékfunkciókhoz",".",{"type":178,"level":179,"id":122,"text":123},"heading",2,{"type":150,"content":181},[182,183,176],"A DeepEval az Apache-2.0 könyvtár a Confident AI mögött, amely magát vállalati AI-értékelési és megfigyelhetőségi platformként írja le. A könyvtár a saját gépeden fut, és nem kell hozzá fiók. A PyPI-n az aktuális kiadás a 4.2.8, amelyet 2026. október 2-án adtak ki, és Python 3.9-es vagy újabb verzió kell hozzá. Telepítés: ",{"tag":184,"children":185},"code",[186],"pip install -U deepeval",{"type":188,"ordered":189,"items":190},"list",false,[191,197,202],[192,196],{"tag":193,"children":194},"strong",[195],"Metrikák. ","Több mint harminc nevesített metrika kilenc csoportban, a G-Eval-tól és az ágens-metrikáktól a visszakeresésen, a többfordulós beszélgetéseken, a biztonságon és a képeken át.",[198,201],{"tag":193,"children":199},[200],"Bírók. ","Szinte minden beépített metrika LLM-et használ bíróként, és OpenAI, Azure OpenAI, Anthropic, Gemini, Ollama vagy LiteLLM bírót állíthatsz be.",[203,206],{"tag":193,"children":204},[205],"Red teaming. ","Külön Apache-2.0 csomag, a DeepTeam fedi a támadásokat és a sebezhetőségeket.",{"type":178,"level":179,"id":125,"text":126},{"type":150,"content":209},[210],"A teszt sima Python. Minden metrika egy tesztesetet kap, amely tartalmazza a bemenetet, a tényleges kimenetet és a metrikától függően a várt kimenetet, a visszakeresési kontextust vagy az ágens által hívott eszközöket. Bíró-alapú metrikánál a tesztesetet és a kritériumokat a bírómodell kapja, amely 0 és 1 közötti pontszámot és indoklást ad vissza. A küszöbérték dönt átmenetről vagy elbukásról, az assert_test pedig elbuktatja a tesztet, ha a pontszám alatta marad.",{"type":212,"src":213,"alt":214,"wide":215,"caption":216},"image","\u002Fimages\u002Fblog\u002Fdeepeval\u002Fdiagram-7.webp","Hogyan dönt egy DeepEval-teszt Egy bemenetből és kimenetből álló tesztesetet kap egy metrika. Bíró-alapú metrikánál a bírómodell 0 és 1 közötti pontszámot ad indoklással. A küszöbérték dönt átmenetről vagy elbukásról, a pytest jelenti az eredményt, a CI pedig hibánál megállítja az összevonást. Az eredmények csak kulccsal jutnak el a Confident AI-hoz, az opcionális feltöltés a szaggatott lépés.",true,"Bíró-alapú metrikánál a bírómodell az egyetlen lépés, amely modellt hív, és az eredmények csak kulccsal jutnak el a Confident AI-hoz.",{"type":150,"content":218},[219],"A bíró az, ami a költséget és a megbízhatóságot meghatározza. A metrikaoldal szerint szinte minden beépített metrika LLM-et használ bíróként, és bármely bíró használható, köztük az OpenAI, az Azure OpenAI, az Ollama, az Anthropic, a Gemini és a LiteLLM. A saját modelledet is becsomagolhatod a DeepEvalBaseLLM leszármaztatásával. A GYIK szerint a bíró alapértelmezetten az OpenAI, ha nem adsz meg modellt.",{"type":178,"level":179,"id":128,"text":129},{"type":150,"content":222},[223,224,227],"Állíts be egy OpenAI-kulcsot a bírónak, telepítsd a csomagot, és írd meg a tesztet egy olyan fájlban, mint a test_example.py. A példa egy választ ellenőriz G-Eval-lal, ahol a kritériumokat közérthetően írod le, és a DeepEval ebből generálja az értékelési lépéseket. Futtasd így: ",{"tag":184,"children":225},[226],"deepeval test run test_example.py",". A teszt elbukik, ha a helyességi pontszám 0,5 alatt van.",{"type":184,"code":229},"# test_example.py\nfrom deepeval import assert_test\nfrom deepeval.metrics import GEval\nfrom deepeval.test_case import LLMTestCase, SingleTurnParams\n\n\ndef test_refund_answer():\n    correctness = GEval(\n        name='Correctness',\n        criteria='Is the actual output a correct answer to the input, consistent with the expected output?',\n        evaluation_params=[\n            SingleTurnParams.INPUT,\n            SingleTurnParams.ACTUAL_OUTPUT,\n            SingleTurnParams.EXPECTED_OUTPUT,\n        ],\n        threshold=0.5,\n    )\n    test_case = LLMTestCase(\n        input='Can I return shoes after 30 days?',\n        actual_output='You can return them within 30 days of delivery, if they are unworn.',\n        expected_output='Returns are accepted within 30 days of delivery if the item is unworn.',\n    )\n    assert_test(test_case, [correctness])",{"type":178,"level":179,"id":131,"text":132},{"type":150,"content":232},[233],"A metrika megválasztása dönt a számláról. A Faithfulness kinyeri a válasz állításait, mindegyiket ellenőrzi a visszakeresési kontextus ellen, és az állításoknak azt a hányadát pontozza, amely nem mond ellent a kontextusnak, az alapértelmezett küszöb 0,5. A bíró többet olvas, ha egy válasz sok állítást tesz, ezért a költség a válasz hosszával nő. Az evaluate() gyorsítótárazást, párhuzamosítást, költségkövetést és hibakezelést ad, a különálló measure()-hívás viszont ezeket az optimalizálásokat elveszíti. A dokumentáció arra is figyelmeztet, hogy sok metrikahívás egyszerre rate-limit hibát okozhat, ezért a párhuzamosságot igazítsd a szolgáltatód korlátjához.",{"type":235,"head":236,"rows":241},"table",[237,239],[238],"Csoport",[240],"Nevesített metrikák",[242,247,252,257,262,267,272,277,282],[243,245],[244],"Egyedi",[246],"G-Eval, DAG, Arena G-Eval, JevEval, és saját kódmetrikák, például BLEU vagy ROUGE",[248,250],[249],"Ágensek, pályák",[251],"Task Completion, Step Efficiency, Plan Adherence, Plan Quality",[253,255],[254],"Ágensek, komponensek",[256],"Tool Correctness, Argument Correctness",[258,260],[259],"Visszakeresés",[261],"Contextual Relevancy, Contextual Precision, Contextual Recall",[263,265],[264],"Generátor",[266],"Answer Relevancy, Faithfulness",[268,270],[269],"Többfordulós csevegők",[271],"Knowledge Retention, Role Adherence, Conversation Completeness, Conversation Relevancy",[273,275],[274],"Biztonság",[276],"Bias, Toxicity, Non-Advice, Misuse, PIILeakage, Role Violation",[278,280],[279],"Kép",[281],"Image Coherence, Image Helpfulness, Image Reference, Text-to-Image, Image-Editing",[283,285],[284],"Egyéb",[286],"Hallucination, JSON Correctness, Summarization, Ragas",{"type":288,"variant":289,"title":290,"body":291},"callout","note","Ahol lehet, determinisztikus",[292],[293],"A Tool Correctness kivétel a bíró-először szabály alól. A magpontszáma azt számolja, hány meghívott eszköz egyezik a várt eszközökkel, és ebben nincs modell. Egy opcionális második ellenőrzés LLM-mel ítéli meg az eszközválasztást, de csak akkor, ha átadod a rendelkezésre álló eszközöket, és a végső pontszám a kettő közül az alacsonyabb.",{"type":178,"level":179,"id":134,"text":135},{"type":150,"content":296},[297],"A kézzel írt tesztesetek gyorsan elfogynak, ezért a DeepEval generálhat is. A generate_goldens_from_docs dokumentumelérési utak listáját kapja, beolvassa a .txt, .docx, .pdf és Markdown fájlokat, a darabokat chromadb-ben tárolja, és egy kritikusmodell 0 és 1 közötti pontszámmal értékeli minden darabot. Alapértelmezés szerint minden goldenhez tartozik elvárt kimenet is. OpenAI-kulcs nélkül saját beágyazó modellt és saját LLM-et kell megadnod, mert az alapértelmezett beágyazó a text-embedding-3-small. A dokumentáció nem ír le felülvizsgálati lépést, ezért kérj meg valakit, hogy olvasson el egy mintát, mielőtt a generált készlet regressziós csomaggá válik.",{"type":150,"content":299},[300,301,304],"A red teaming külön csomag. A DeepTeam egy Apache-2.0 keretrendszer LLM-ek és KI-ágensek red teaming-tesztelésére, több mint 50 kész sebezhetőséggel és több mint 20 kutatásalapú támadási módszerrel, egy- és többfordulós formában. Bíró-alapú metrikái helyben futnak, és indoklással együtt átmenet vagy elbukás eredményt adnak. Ellenőrzéseit az OWASP Top 10 for LLMs 2025, az OWASP Top 10 for Agents 2026, a NIST AI RMF és a MITRE ATLAS szerint sorolja be, telepítése: ",{"tag":184,"children":302},[303],"pip install -U deepteam",". A platform AI red teaming modulja az árazási oldal szerint az Enterprise ++ csomagban van.",{"type":150,"content":306},[307,308,311,312,315,316,319,320,323,324,327],"A dokumentáció CI-mintája rövid. A bíró kulcsát ",{"tag":184,"children":309},[310],"OPENAI_API_KEY"," néven tárold a titkos adatok között, a ",{"tag":184,"children":313},[314],"CONFIDENT_API_KEY","-t csak akkor add hozzá, ha az eredményeknek a platformra kell kerülniük, és futtasd a ",{"tag":184,"children":317},[318],"deepeval test run"," parancsot. Kulcs nélkül ugyanezek a tesztek helyben is lefutnak. A ",{"tag":184,"children":321},[322],"--official"," (vagy ",{"tag":184,"children":325},[326],"-o",") kapcsolóval egy futtatást hivatalos alapvonalként jelölhetsz a Confident AI-n.",{"type":184,"code":329},"- name: Run LLM tests\n  env:\n    OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}\n    CONFIDENT_API_KEY: ${{ secrets.CONFIDENT_API_KEY }}\n  run: poetry run deepeval test run test_llm_app.py",{"type":178,"level":179,"id":137,"text":138},{"type":150,"content":332},[333],"A könyvtár a bíró mellett nem kerül semmibe. A platformnak négy csomagja van, havonta, szervezetenként számlázva, és az árazási oldalon nincs dátum, ezért tervezés előtt ellenőrizd újra.",{"type":235,"head":335,"rows":344},[336,338,340,342],[337],"Csomag",[339],"Ár",[341],"Tartalmazza",[343],"Mit ad hozzá",[345,354,363,372],[346,348,350,352],[347],"Free",[349],"$0",[351],"2 férőhely, 1 projekt, 1 GB-hónap nyomkövetési adat",[353],"heti 5 tesztfuttatás",[355,357,359,361],[356],"Starter",[358],"havi $200",[360],"Korlátlan férőhely, 5 projekt, 5 GB-hónap, utána GB-hónaponként $1",[362],"Online értékelések, annotációs sorok, valós idejű riasztás",[364,366,368,370],[365],"Team",[367],"havi $2000",[369],"Korlátlan férőhely és projekt, 75 GB-hónap, utána GB-hónaponként $1",[371],"SOC 2, SSO, saját szerepkörök, egyedi szerződések és SLA-k",[373,375,376,378],[374],"Enterprise",[244],[377],"Korlátlan használat",[379],"On-prem, egyedi adatrezidencia, 24x7 támogatás, red teaming modul (Enterprise ++)",{"type":150,"content":381},[382],"Összehasonlításként: a Braintrust Starter szintje ingyenes, 14 napos megőrzéssel, a Pro csomagja havi $249, a feldolgozott adat GB-onként $3, a pontszámok pedig 1000-enként $1,50, a benne foglalt mennyiségen felül. A Confident AI Starter csomagja fix havi $200, férőhelydíj nélkül, és tartalmazza az online értékeléseket és az annotációs sorokat.",{"type":150,"content":384},[385,386,388,389,392],"Három külön adatáramlás van, és más-más kérdésre válaszolnak. A bíró megkapja a tesztesetet, tehát modell beállítása nélkül ez a tartalom az OpenAI-hoz megy, a laptopodról vagy a CI-futtatóról. A Confident AI csak akkor kap eredményeket, ha a ",{"tag":184,"children":387},[314]," be van állítva, és a GitHub README szerint a felhőplatform használatakor minden tesztesetet automatikusan naplóz a rendszer. A harmadik a telemetria: alapértelmezés szerint a DeepEval alapvető, nem azonosító számokat küld, például hány értékelés futott és mely metrikákat használták, az adatvédelmi oldal pedig a PostHogot nevezi meg az egyetlen célnak. A ",{"tag":184,"children":390},[391],"DEEPEVAL_TELEMETRY_OPT_OUT=1"," beállítással kikapcsolhatod.",{"type":150,"content":394},[395,396,399],"A platformon a GYIK szerint az adatokat egy privát AWS-felhőben tárolják, amelyhez csak a szervezeted fér hozzá. Az alapértelmezett régió az Egyesült Államok, az EU pedig minden csomagban elérhető. Bejelentkezéskor vagy regisztrációkor válaszd ki, vagy futtasd a ",{"tag":184,"children":397},[398],"deepeval set-confident-region EU"," parancsot, amely csak a DeepEvalt állítja be. A régióoldal hozzáteszi, hogy az API-kulcs önmagában nem dönti el, hová kerülnek az adatok, ezért a két végpontot is állítsd be.",{"type":184,"code":401},"deepeval set-confident-region EU\nexport CONFIDENT_BASE_URL=https:\u002F\u002Feu.api.confident-ai.com\nexport CONFIDENT_OTEL_ENDPOINT=https:\u002F\u002Feu.otel.confident-ai.com\u002Fv1\u002Ftraces",{"type":150,"content":403},[404],"A szerződéshez: az alvállalkozói lista, amelyet utoljára 2026. február 18-án módosítottak, azt mondja, hogy minden ügyfél adatfeldolgozási szerződést kap. A személyes adatok a kiválasztott régióban maradnak, hacsak a teljesítmény vagy a rendelkezésre állás miatt, vagy megállapodás alapján nem kell őket áthelyezni. A lista az OpenAI-t az AI-modellek futtatásához említi, csak az USA-ban, az AWS-t, a ClickHouse-t, a Supabase-t és a PostHogot pedig az USA-ban és Európában. A felhő megőrzési idejét nem találtam meg egyetlen megnyitott oldalon sem, ezért kérd írásban, mielőtt éles adat kerül be. Az önálló üzemeltetés vállalati opció, a helyi telepítés pedig ugyanezt a két változót a saját hosztjaidra állítja.",{"type":288,"variant":406,"title":407,"body":408},"warn","Amit az EU-opció nem változtat meg",[409],[410],"A régióbeállítás azt szabályozza, hol tárolja és dolgozza fel a Confident AI a platformadatokat. A bírót nem mozgatja. Ha a bíró az OpenAI, a hívások akkor is az OpenAI-hoz mennek, bárhol vannak a platformadataid. Szigorú európai beállításhoz hosztold magad a bírót, például Ollamával, és mérd a pontszámait olyan eseteken, amelyeket magad címkéztél, mielőtt rájuk támaszkodnál.",{"type":178,"level":179,"id":140,"text":141},{"type":150,"content":413},[414],"Három gyengeség a legfontosabb. Először: a pontszámok nem ismételhetők meg. A G-Eval dokumentáció szerint a metrika nem determinisztikus, ezért a küszöb közeli pontszám néha átbillen, és a bíró korlátozza mindent, amit vele mérsz. Másodszor: a felület nagy. A metrikalista hosszú, a generált goldenek dokumentumútvonalához chromadb és több LangChain-csomag kell, a dokumentáció pedig a Python-parancs mellett TypeScript-parancsot is mutat, bár ehhez a bemutatóhoz minden általam ellenőrzött példa Python volt. Harmadszor: a platform árlépcsői durvák. Az ingyenes csomag heti öt tesztfuttatása nem bír el egy forgalmas pipeline-t, és a havi $200-ról $2000-re ugrás nagy egy olyan csapatnak, amelyik csak közös előzményt akar.",{"type":178,"level":179,"id":143,"text":144},{"type":150,"content":417},[418],"A DeepEval az alapértelmezett jó választás olyan Python-csapatnak, amely LLM-viselkedési teszteket szeretne ugyanabban a futtatóban és ugyanabban a pull requestben, mint a többi tesztjét. A könyvtár és a DeepTeam is Apache-2.0 licencű, a metrikalista ágenseket, visszakeresést, beszélgetéseket és biztonságot fed le saját bírók írása nélkül, a helyi mód pedig fiók nélkül működik. Nem javaslom ott, ahol a tesztadatok nem érhetnek el olyan bírót, amelyben megbízol, vagy ahol a nem mérnököknek az első naptól hosztolt munkaterület kell. Ezekben az esetekben válassz alternatívát.",{"type":188,"ordered":215,"items":420},[421,426,431],[422,425],{"tag":193,"children":423},[424],"Ragas, ha ","Apache-2.0 eszköztárat szeretnél előre elkészített metrikákkal és teszt-adatgenerálással, és nincs szükséged a Confident AI platformjára.",[427,430],{"tag":193,"children":428},[429],"Promptfoo, ha ","deklaratív konfigurációt szeretnél, amely promptokat és modelleket hasonlít össze a parancssorban és a CI-ben, a red teaminggel ugyanabban az eszközben. A MIT-licencelt tároló szerint a Promptfoo ma már az OpenAI része, ezt mérlegeld a szállítói szabályaiddal.",[432,435],{"tag":193,"children":433},[434],"Braintrust, ha ","hosztolt felületet és a Pro csomagban kattintásos adatfeldolgozási szerződést szeretnél, és elfogadod a mérésüket, ahol a benne foglalt adatokon és pontszámokon felüli használat a havi $249 mellé számlázódik.",{"type":178,"level":179,"id":146,"text":147},{"type":188,"ordered":189,"items":438},[439,444,448,452,456,460,464,468,472,476,480,484,488,492,496,500,504,508],[440],{"tag":441,"href":38,"children":442},"a",[443],"DeepEval-dokumentáció: első lépések",[445],{"tag":441,"href":41,"children":446},[447],"GitHub: confident-ai\u002Fdeepeval, a README és a licenc",[449],{"tag":441,"href":44,"children":450},[451],"PyPI: deepeval, a legújabb kiadás és a Python-követelmény",[453],{"tag":441,"href":47,"children":454},[455],"DeepEval-dokumentáció: metrikák áttekintése",[457],{"tag":441,"href":50,"children":458},[459],"DeepEval-dokumentáció: G-Eval",[461],{"tag":441,"href":53,"children":462},[463],"DeepEval-dokumentáció: Faithfulness",[465],{"tag":441,"href":56,"children":466},[467],"DeepEval-dokumentáció: Tool Correctness",[469],{"tag":441,"href":59,"children":470},[471],"DeepEval-dokumentáció: goldenek generálása dokumentumokból",[473],{"tag":441,"href":62,"children":474},[475],"DeepEval-dokumentáció: egységtesztelés CI\u002FCD-ben",[477],{"tag":441,"href":65,"children":478},[479],"DeepEval GYIK",[481],{"tag":441,"href":68,"children":482},[483],"DeepEval-dokumentáció: adatvédelem",[485],{"tag":441,"href":71,"children":486},[487],"GitHub: confident-ai\u002Fdeepteam, a red teaming keretrendszer",[489],{"tag":441,"href":74,"children":490},[491],"Confident AI árazás",[493],{"tag":441,"href":77,"children":494},[495],"Confident AI-dokumentáció: adatrezidencia",[497],{"tag":441,"href":80,"children":498},[499],"Confident AI alvállalkozói lista",[501],{"tag":441,"href":83,"children":502},[503],"GitHub: explodinggradients\u002Fragas, README",[505],{"tag":441,"href":86,"children":506},[507],"GitHub: promptfoo\u002Fpromptfoo, README",[509],{"tag":441,"href":89,"children":510},[511],"Braintrust árazás",[513,570,638,698],{"slug":514,"published":515,"minutes":516,"category":7,"tags":517,"keywords":523,"about":537,"sources":545,"cover":564,"og":565,"expertise":92,"locales":566,"lang":96,"title":567,"description":568,"coverAlt":569},"deepseek-v4-1-flash-1017","2026-10-17",15,[518,519,520,521,522],"DeepSeek","Open-weight models","KV cache","Mixture of experts","LLM cost",[524,525,526,527,528,529,530,531,532,533,534,535,536],"DeepSeek V4.1 Flash 1017","DeepSeek V4.1 Flash","Causal Encoder-Decoder","Compressed Sparse Attention 2","CSA2","FP4 KV cache","KV cache compression","SWA Bounded Replay","Engram conditional memory","DSpark speculative decoding","DeepSeek pricing","DeepSWE benchmark","open-weight coding model",[538,540,542],{"name":518,"url":539},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FDeepSeek",{"name":521,"url":541},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMixture_of_experts",{"name":543,"url":544},"Transformer (deep learning architecture)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTransformer_(deep_learning_architecture)",[546,549,552,555,558,561],{"title":547,"url":548},"DeepSeek-AI: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (arXiv:2609.19969)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.19969",{"title":550,"url":551},"Hugging Face: deepseek-ai\u002FDeepSeek-V4.1-Flash-1017 model card","https:\u002F\u002Fhuggingface.co\u002Fdeepseek-ai\u002FDeepSeek-V4.1-Flash-1017",{"title":553,"url":554},"OpenRouter: DeepSeek V4.1 Flash 1017, pricing and providers","https:\u002F\u002Fopenrouter.ai\u002Fdeepseek\u002Fdeepseek-v4.1-flash-1017",{"title":556,"url":557},"The Decoder: Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks while once again massively cutting per-task costs","https:\u002F\u002Fthe-decoder.com\u002Fdeepseek-v4-1-flash-1017-beats-larger-rivals-in-agentic-tasks-while-once-again-massively-cutting-per-task-costs\u002F",{"title":559,"url":560},"AI Weekly: DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API","https:\u002F\u002Faiweekly.co\u002Falerts\u002Fdeepseek-opens-v41-flash-1017-weights-and-075-search-api",{"title":562,"url":563},"DeepSeek on X: DeepSeek-V4.1-Flash-1017 announcement","https:\u002F\u002Fx.com\u002Fdeepseek_ai\u002Fstatus\u002F2111375640717033777","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fog.jpg",[94,95,96],"DeepSeek V4.1 Flash 1017: 890 bájt KV-cache tokenenként, és mit nyer ezzel egy ágens","Technikai mélyfúrás a DeepSeek V4.1 Flash 1017-ről: encoder-decoder felosztás, CSA2 cache-megosztás, FP4 KV-cache, benchmarkok és a valós költség ágensfeladatonként.","Balra egy magas, vékony kártyákból álló köteg, egy nyíl, jobbra ugyanezek a kártyák a magasság negyedére préselve.",{"slug":571,"published":515,"minutes":572,"category":7,"tags":573,"keywords":579,"about":591,"sources":601,"cover":632,"og":633,"expertise":92,"locales":634,"lang":96,"title":635,"description":636,"coverAlt":637},"llm-rate-limits-retries-provider-fallback",10,[574,575,576,577,578],"Rate limits","Retries","Fallback","Reliability","LLM gateway",[580,581,582,583,584,585,586,587,588,589,590],"llm rate limit handling","429 too many requests llm api","exponential backoff with jitter","anthropic 529 overloaded error","openai rate limit retry","llm provider fallback","litellm fallbacks","retry-after header","llm circuit breaker","multi provider llm failover","claude api rate limits",[592,595,598],{"name":593,"url":594},"Token bucket","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FToken_bucket",{"name":596,"url":597},"Exponential backoff","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FExponential_backoff",{"name":599,"url":600},"Circuit breaker design pattern","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCircuit_breaker_design_pattern",[602,605,608,611,614,617,620,623,626,629],{"title":603,"url":604},"Claude Platform Docs: Rate limits","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Frate-limits",{"title":606,"url":607},"Claude Platform Docs: API errors","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Ferrors",{"title":609,"url":610},"OpenAI API Docs: Rate limits","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Frate-limits",{"title":612,"url":613},"AWS Builders Library: Timeouts, retries and backoff with jitter","https:\u002F\u002Fbuilder.aws.com\u002Fcontent\u002F3EumjoZascWd1oZiEgL8ORlv3qE\u002Ftimeouts-retries-and-backoff-with-jitter",{"title":615,"url":616},"MDN: Retry-After header","https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FRetry-After",{"title":618,"url":619},"Martin Fowler: Circuit Breaker (2014)","https:\u002F\u002Fmartinfowler.com\u002Fbliki\u002FCircuitBreaker.html",{"title":621,"url":622},"LiteLLM Docs: Router, retries and cooldowns","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":624,"url":625},"LiteLLM Docs: Proxy fallbacks and reliability","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Freliability",{"title":627,"url":628},"OpenRouter Docs: Model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":630,"url":631},"AI SDK Docs: Settings (maxRetries, timeout)","https:\u002F\u002Fai-sdk.dev\u002Fdocs\u002Fai-sdk-core\u002Fsettings","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fog.jpg",[94,95,96],"LLM rate limitek élesben: újrapróbálás, backoff és szolgáltatóváltás","Hogyan működnek az LLM rate limitek, mit érdemes újrapróbálni, backoff jitterrel, retry egy rétegben, és fallback-láncok, amelyek nem rontják el a kimenetet.","Kis négyzetek kapaszkodnak három fokon egy széles téglalaphoz, mögötte még kettő sorban.",{"slug":639,"published":515,"minutes":6,"category":7,"tags":640,"keywords":646,"about":657,"sources":667,"cover":692,"og":693,"expertise":92,"locales":694,"lang":96,"title":695,"description":696,"coverAlt":697},"prompt-versioning-management",[641,642,643,644,645],"Prompt management","Versioning","LLMOps","Evals","Langfuse",[647,648,649,650,651,652,653,654,655,656],"prompt versioning","prompt management","prompt registry","version control for prompts","langfuse prompt management","mlflow prompt registry","prompts in git","openai prompt object deprecation","prompt rollback production","prompt ci evaluation",[658,661,664],{"name":659,"url":660},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":662,"url":663},"Version control","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FVersion_control",{"name":665,"url":666},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",[668,671,674,677,680,683,686,689],{"title":669,"url":670},"OpenAI API Docs: Migrate from prompt objects","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\u002Fmigrate-from-prompt-object",{"title":672,"url":673},"OpenAI API Docs: Prompt engineering (reusable prompts deprecation note)","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompt-engineering",{"title":675,"url":676},"Langfuse Docs: Prompt version control","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fprompt-version-control",{"title":678,"url":679},"Langfuse Docs: Prompt caching in the SDKs","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fcaching",{"title":681,"url":682},"Langfuse Docs: Link prompts to traces","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Flink-to-traces",{"title":684,"url":685},"MLflow Docs: Prompt Registry","https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002F",{"title":687,"url":688},"Promptfoo Docs: GitHub Action","https:\u002F\u002Fwww.promptfoo.dev\u002Fdocs\u002Fintegrations\u002Fgithub-action\u002F",{"title":690,"url":691},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fog.jpg",[94,95,96],"Promptverziózás élesben: git, registry, címkék és visszaállítás","Promptok verziózása élesben: mi tartozik egy verzióhoz, git vagy prompt registry, címkék és visszaállítás, eval-kapu a CI-ban és a cache-re gyakorolt hatás.","Öt álló kártya sorban, a harmadik íves nyíllal visszafordul, a kapu az utolsó előtt áll.",{"slug":699,"published":515,"minutes":700,"category":7,"tags":701,"keywords":706,"about":717,"sources":725,"cover":746,"og":747,"expertise":92,"locales":748,"lang":96,"title":749,"description":750,"coverAlt":751},"llm-batch-api-offline-workloads",9,[702,703,643,704,705],"Batch API","Cost","Prompt caching","Data pipelines",[707,708,709,710,711,712,713,714,715,716],"llm batch api","anthropic message batches api","openai batch api","gemini batch mode","batch inference llm cost","batch api 50 percent discount","openai flex processing","bedrock batch inference","llm offline processing","batch api prompt caching",[718,721,724],{"name":719,"url":720},"Batch processing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBatch_processing",{"name":722,"url":723},"JSON Lines","https:\u002F\u002Fjsonlines.org\u002F",{"name":33,"url":34},[726,729,731,732,735,738,740,743],{"title":727,"url":728},"Claude Platform Docs: Batch processing","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fbatch-processing",{"title":730,"url":604},"Claude Platform Docs: Rate limits (Message Batches API)",{"title":690,"url":691},{"title":733,"url":734},"OpenAI API Docs: Batch API","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fbatch",{"title":736,"url":737},"OpenAI API Docs: Flex processing","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fflex-processing",{"title":739,"url":610},"OpenAI API Docs: Rate limits (batch queue limits)",{"title":741,"url":742},"Google AI for Developers: Gemini Batch API","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fbatch-api",{"title":744,"url":745},"Amazon Bedrock User Guide: Batch inference","https:\u002F\u002Fdocs.aws.amazon.com\u002Fbedrock\u002Flatest\u002Fuserguide\u002Fbatch-inference.html","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fog.jpg",[94,95,96],"LLM batch API-k: félárú inferencia olyan munkára, amely várhat","Mikor érdemes az Anthropic, OpenAI és Gemini batch API-ját használni, hogyan működnek a limitek, a párosítás és a hibák, és hogyan adódnak össze a kedvezmények.","Széles doboz nyolc kis négyzettel, balról érkeznek, egy hosszú nyíl visszatér.",1792261158898]