[{"data":1,"prerenderedAt":859},["ShallowReactive",2],{"tool-deepeval-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":35,"cover":90,"og":91,"expertise":92,"locales":93,"lang":96,"title":97,"description":98,"coverAlt":99,"url":25,"pricing":100,"kind":101,"metaTitle":102,"takeaways":103,"faq":109,"toc":122,"blocks":150,"others":518},"deepeval","2026-10-06",8,"llmops",[9,10,11,12,13],"LLM evaluation","pytest","LLM-as-a-judge","Red teaming","Open source",[4,15,16,17,18,19,20,21],"deepeval vs ragas","llm evaluation framework","pytest for llm outputs","g-eval metric","llm judge cost","deepeval pricing","llm red teaming open source",[23,26,29,32],{"name":24,"url":25},"DeepEval","https:\u002F\u002Fdeepeval.com",{"name":27,"url":28},"Confident AI","https:\u002F\u002Fwww.confident-ai.com",{"name":30,"url":31},"Pytest","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPytest",{"name":33,"url":34},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[36,39,42,45,48,51,54,57,60,63,66,69,72,75,78,81,84,87],{"title":37,"url":38},"DeepEval documentation: getting started","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fgetting-started",{"title":40,"url":41},"GitHub: confident-ai\u002Fdeepeval, the README and licence","https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepeval",{"title":43,"url":44},"PyPI: deepeval, the latest release and Python requirement","https:\u002F\u002Fpypi.org\u002Fproject\u002Fdeepeval\u002F",{"title":46,"url":47},"DeepEval documentation: metrics introduction","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-introduction",{"title":49,"url":50},"DeepEval documentation: G-Eval","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-llm-evals",{"title":52,"url":53},"DeepEval documentation: Faithfulness","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-faithfulness",{"title":55,"url":56},"DeepEval documentation: Tool Correctness","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fmetrics-tool-correctness",{"title":58,"url":59},"DeepEval documentation: generate goldens from documents","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fsynthesizer-generate-from-docs",{"title":61,"url":62},"DeepEval documentation: unit testing in CI\u002FCD","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fevaluation-unit-testing-in-ci-cd",{"title":64,"url":65},"DeepEval FAQ","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Ffaq",{"title":67,"url":68},"DeepEval documentation: data privacy","https:\u002F\u002Fdeepeval.com\u002Fdocs\u002Fdata-privacy",{"title":70,"url":71},"GitHub: confident-ai\u002Fdeepteam, the red-teaming framework","https:\u002F\u002Fgithub.com\u002Fconfident-ai\u002Fdeepteam",{"title":73,"url":74},"Confident AI pricing","https:\u002F\u002Fwww.confident-ai.com\u002Fpricing",{"title":76,"url":77},"Confident AI documentation: data residency","https:\u002F\u002Fwww.confident-ai.com\u002Fdocs\u002Fsettings\u002Fdata-residency",{"title":79,"url":80},"Confident AI subprocessor list","https:\u002F\u002Fwww.confident-ai.com\u002Fsubprocessors-list",{"title":82,"url":83},"GitHub: explodinggradients\u002Fragas, the README","https:\u002F\u002Fgithub.com\u002Fexplodinggradients\u002Fragas",{"title":85,"url":86},"GitHub: promptfoo\u002Fpromptfoo, the README","https:\u002F\u002Fgithub.com\u002Fpromptfoo\u002Fpromptfoo",{"title":88,"url":89},"Braintrust pricing","https:\u002F\u002Fwww.braintrust.dev\u002Fpricing","\u002Fimages\u002Fblog\u002Fdeepeval\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepeval\u002Fog.jpg","ai-engineer",[94,95,96],"en","de","hu","DeepEval bemutató: pytest az LLM-kimenetekhez, és a bíró számlája","A DeepEval LLM-ellenőrzéseket futtat pytest-szerű tesztként, beépített bírómetrikákkal. Ingyenes könyvtár; a bíróhívások és az adatáramlás a valódi költség.","Borítókép a DeepEval bemutatóhoz: egy tesztesetet bírómetrika visz át egy átmenő vagy elbukó kapuig","Apache-2.0 · free; Confident AI from $0, Starter $200 a month","Evaluation framework","DeepEval bemutató: pytest LLM-kimenetekhez · Balázs Csorba",[104,105,106,107,108],"A DeepEval Apache-2.0 licencű Python-keretrendszer, amely az LLM-ellenőrzéseket egységtesztként futtatja, és a könyvtár fiók nélkül is működik.","A legtöbb beépített metrika egy másik modellt használ bíróként, ezért minden futás költhet tokeneket, és eltérő pontszámot adhat.","Az alapbeállításban a bíró az OpenAI, így a tesztesetek elhagyják a hálózatodat. Egy helyi bíró, például az Ollama, bent tartja őket, de a minőségét neked kell mérned.","A Confident AI felhője ingyenes csomagot kínál, a Starter havi $200, a Team havi $2000, minden ügyfélnek adatfeldolgozási szerződéssel, és minden csomagban EU-régióval.","Válaszd a Ragas-t, a Promptfoo-t vagy a Braintrust-ot, ha Apache-2.0 metrikakészletet, deklaratív CLI-t red teaminggel vagy saját díjszabású, hosztolt felületet akarsz.",[110,113,116,119],{"q":111,"a":112},"Küld a DeepEval bárhova az adataimat?","Igen, a beállított bírómodellnek. Modell megadása nélkül a GYIK szerint a bíró alapértelmezetten az OpenAI. Az eredmények csak akkor jutnak el a Confident AI-hoz, ha kulcsot állítasz be, az alapértelmezett tárolási régió az Egyesült Államok, az EU pedig minden csomagban elérhető.",{"q":114,"a":115},"Mennyibe kerül a DeepEval?","A könyvtár Apache-2.0 licenc alatt ingyenes. A Confident AI-nak van ingyenes csomagja két férőhellyel és heti öt tesztfuttatással, a Starter havi $200, a Team havi $2000, havonta, szervezetenként számlázva. A bírói hívások ezen felül jönnek, és a választott modelltől függenek.",{"q":117,"a":118},"Megismételhetők a pontszámok?","Nem pontosan. A G-Eval dokumentáció szerint a metrika nem determinisztikus, ezért hagyj tartalékot a küszöbök körül, és futtasd újra a hibás esetet, mielőtt regressziónak tekintenéd. A Tool Correctness más, mert a magpontszáma determinisztikus.",{"q":120,"a":121},"Használhatok helyi modellt bíróként?","Igen. A metrikaoldal az Ollamát is felsorolja a bírók között, bármely más modellt pedig a DeepEvalBaseLLM osztály leszármaztatásával köthetsz be. Ellenőrizd a bírót olyan eseteken, amelyeket magad címkéztél, mert egy gyengébb bíró minden pontszámot elmozdít.",[123,126,129,132,135,138,141,144,147],{"id":124,"title":125},"what-it-is","Mi ez",{"id":127,"title":128},"how-it-works","Hogyan működik",{"id":130,"title":131},"getting-started","Első lépések",{"id":133,"title":134},"metrics-and-judge-cost","Metrikák, és mibe kerül a bíró",{"id":136,"title":137},"goldens-red-teaming-and-ci","Goldenek, red teaming és CI",{"id":139,"title":140},"cost-and-deployment","Költség és üzemeltetés",{"id":142,"title":143},"where-it-falls-short","Hol gyenge",{"id":145,"title":146},"verdict","Ítélet",{"id":148,"title":149},"sources","Források",[151,155,179,182,189,209,210,213,222,225,226,233,235,236,239,292,299,300,303,310,333,335,336,339,385,388,398,405,407,410,416,417,420,421,424,442,443],{"type":152,"content":153},"paragraph",[154],"A DeepEval egy nyílt forrású Python-keretrendszer, amely az LLM-ellenőrzéseket egységtesztként futtatja, több mint harminc beépített metrikával és egy opcionális felhőplatformmal, a Confident AI-val. Az ítélet előre: vedd, ha a mérnökeid Pythonban írnak, már futtatnak teszteket a CI-ben, és minden pull requestnél ellenőrizni akarod a modell viselkedését. Hagyd ki, ha az alapértelmezett OpenAI-bíró nem fogadható el az adataidhoz, vagy ha a nem mérnökök előbb egy hosztolt munkaterületet várnak.",{"type":152,"content":156},[157,158,163,164,168,169,173,174,178],"A DeepEval a ",{"tag":159,"to":160,"children":161},"link","\u002Ftools\u002Fragas",[162],"Ragas",", a ",{"tag":159,"to":165,"children":166},"\u002Ftools\u002Fpromptfoo",[167],"Promptfoo"," és a ",{"tag":159,"to":170,"children":171},"\u002Ftools\u002Fbraintrust",[172],"Braintrust"," mellett áll, amelyeket külön is bemutattam. A tesztek körüli folyamatról, a kézi trace-olvasástól a CI-kapuig, lásd: ",{"tag":159,"to":175,"children":176},"\u002Fblog\u002Fllm-evals-for-product-features",[177],"LLM-értékelések termékfunkciókhoz",".",{"type":180,"level":181,"id":124,"text":125},"heading",2,{"type":152,"content":183},[184,185,178],"A DeepEval az Apache-2.0 könyvtár a Confident AI mögött, amely magát vállalati AI-értékelési és megfigyelhetőségi platformként írja le. A könyvtár a saját gépeden fut, és nem kell hozzá fiók. A PyPI-n az aktuális kiadás a 4.2.8, amelyet 2026. október 2-án adtak ki, és Python 3.9-es vagy újabb verzió kell hozzá. Telepítés: ",{"tag":186,"children":187},"code",[188],"pip install -U deepeval",{"type":190,"ordered":191,"items":192},"list",false,[193,199,204],[194,198],{"tag":195,"children":196},"strong",[197],"Metrikák. ","Több mint harminc nevesített metrika kilenc csoportban, a G-Eval-tól és az ágens-metrikáktól a visszakeresésen, a többfordulós beszélgetéseken, a biztonságon és a képeken át.",[200,203],{"tag":195,"children":201},[202],"Bírók. ","Szinte minden beépített metrika LLM-et használ bíróként, és OpenAI, Azure OpenAI, Anthropic, Gemini, Ollama vagy LiteLLM bírót állíthatsz be.",[205,208],{"tag":195,"children":206},[207],"Red teaming. ","Külön Apache-2.0 csomag, a DeepTeam fedi a támadásokat és a sebezhetőségeket.",{"type":180,"level":181,"id":127,"text":128},{"type":152,"content":211},[212],"A teszt sima Python. Minden metrika egy tesztesetet kap, amely tartalmazza a bemenetet, a tényleges kimenetet és a metrikától függően a várt kimenetet, a visszakeresési kontextust vagy az ágens által hívott eszközöket. Bíró-alapú metrikánál a tesztesetet és a kritériumokat a bírómodell kapja, amely 0 és 1 közötti pontszámot és indoklást ad vissza. A küszöbérték dönt átmenetről vagy elbukásról, az assert_test pedig elbuktatja a tesztet, ha a pontszám alatta marad.",{"type":214,"attrs":215,"inner":219,"caption":220},"diagram",{"viewBox":216,"role":217,"aria-labelledby":218},"0 0 720 330","img","d1-de-t d1-de-d","\u003Ctitle id=\"d1-de-t\">Hogyan dönt egy DeepEval-teszt\u003C\u002Ftitle>\u003Cdesc id=\"d1-de-d\">Egy bemenetből és kimenetből álló tesztesetet kap egy metrika. Bíró-alapú metrikánál a bírómodell 0 és 1 közötti pontszámot ad indoklással. A küszöbérték dönt átmenetről vagy elbukásról, a pytest jelenti az eredményt, a CI pedig hibánál megállítja az összevonást. Az eredmények csak kulccsal jutnak el a Confident AI-hoz, az opcionális feltöltés a szaggatott lépés.\u003C\u002Fdesc>\u003Cdefs>\u003Cmarker id=\"ah-de\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head\" \u002F>\u003C\u002Fmarker>\u003C\u002Fdefs>\u003Ctext x=\"20\" y=\"28\" class=\"d-title\">Hogyan dönt egy DeepEval-teszt\u003C\u002Ftext>\u003Ctext x=\"700\" y=\"28\" text-anchor=\"end\" class=\"d-label\">a bíróhívás a költség\u003C\u002Ftext>\u003Crect x=\"20\" y=\"52\" width=\"150\" height=\"62\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"95\" y=\"80\" text-anchor=\"middle\" class=\"d-text\">Teszteset\u003C\u002Ftext>\u003Ctext x=\"95\" y=\"102\" text-anchor=\"middle\" class=\"d-small\">bemenet és kimenet\u003C\u002Ftext>\u003Crect x=\"195\" y=\"52\" width=\"150\" height=\"62\" rx=\"10\" class=\"d-accent\" \u002F>\u003Ctext x=\"270\" y=\"80\" text-anchor=\"middle\" class=\"d-text\">Metrika\u003C\u002Ftext>\u003Ctext x=\"270\" y=\"102\" text-anchor=\"middle\" class=\"d-small\">G-Eval, beépített\u003C\u002Ftext>\u003Crect x=\"370\" y=\"52\" width=\"150\" height=\"62\" rx=\"10\" class=\"d-gold\" \u002F>\u003Ctext x=\"445\" y=\"80\" text-anchor=\"middle\" class=\"d-text\">Bírómodell\u003C\u002Ftext>\u003Ctext x=\"445\" y=\"102\" text-anchor=\"middle\" class=\"d-small\">alap: OpenAI\u003C\u002Ftext>\u003Crect x=\"545\" y=\"52\" width=\"150\" height=\"62\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"620\" y=\"80\" text-anchor=\"middle\" class=\"d-text\">Pontszám\u003C\u002Ftext>\u003Ctext x=\"620\" y=\"102\" text-anchor=\"middle\" class=\"d-small\">0-tól 1-ig, indokkal\u003C\u002Ftext>\u003Cpath d=\"M170 83 H193\" class=\"d-line\" marker-end=\"url(#ah-de)\" \u002F>\u003Cpath d=\"M345 83 H368\" class=\"d-line\" marker-end=\"url(#ah-de)\" \u002F>\u003Cpath d=\"M520 83 H543\" class=\"d-line\" marker-end=\"url(#ah-de)\" \u002F>\u003Cpath d=\"M620 114 V178\" class=\"d-line\" marker-end=\"url(#ah-de)\" \u002F>\u003Crect x=\"545\" y=\"180\" width=\"150\" height=\"62\" rx=\"10\" class=\"d-mint\" \u002F>\u003Ctext x=\"620\" y=\"208\" text-anchor=\"middle\" class=\"d-text\">Küszöb\u003C\u002Ftext>\u003Ctext x=\"620\" y=\"230\" text-anchor=\"middle\" class=\"d-small\">ettől átmenő\u003C\u002Ftext>\u003Cpath d=\"M543 211 H522\" class=\"d-line\" marker-end=\"url(#ah-de)\" \u002F>\u003Crect x=\"370\" y=\"180\" width=\"150\" height=\"62\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"445\" y=\"208\" text-anchor=\"middle\" class=\"d-text\">pytest-eredmény\u003C\u002Ftext>\u003Ctext x=\"445\" y=\"230\" text-anchor=\"middle\" class=\"d-small\">CI hibánál megáll\u003C\u002Ftext>\u003Cpath d=\"M368 211 H347\" class=\"d-line d-dash\" marker-end=\"url(#ah-de)\" \u002F>\u003Crect x=\"195\" y=\"180\" width=\"150\" height=\"62\" rx=\"10\" class=\"d-sky\" \u002F>\u003Ctext x=\"270\" y=\"208\" text-anchor=\"middle\" class=\"d-text\">Confident AI\u003C\u002Ftext>\u003Ctext x=\"270\" y=\"230\" text-anchor=\"middle\" class=\"d-small\">opcionális feltöltés\u003C\u002Ftext>\u003Ctext x=\"20\" y=\"278\" class=\"d-small\">Kulcs nélkül minden eredmény a gépeden marad.\u003C\u002Ftext>\u003Ctext x=\"20\" y=\"302\" class=\"d-label\">A bíró az egyetlen lépés, amely modellt hív a bíró-alapú metrikáknál.\u003C\u002Ftext>",[221],"Bíró-alapú metrikánál a bírómodell az egyetlen lépés, amely modellt hív, és az eredmények csak kulccsal jutnak el a Confident AI-hoz.",{"type":152,"content":223},[224],"A bíró az, ami a költséget és a megbízhatóságot meghatározza. A metrikaoldal szerint szinte minden beépített metrika LLM-et használ bíróként, és bármely bíró használható, köztük az OpenAI, az Azure OpenAI, az Ollama, az Anthropic, a Gemini és a LiteLLM. A saját modelledet is becsomagolhatod a DeepEvalBaseLLM leszármaztatásával. A GYIK szerint a bíró alapértelmezetten az OpenAI, ha nem adsz meg modellt.",{"type":180,"level":181,"id":130,"text":131},{"type":152,"content":227},[228,229,232],"Állíts be egy OpenAI-kulcsot a bírónak, telepítsd a csomagot, és írd meg a tesztet egy olyan fájlban, mint a test_example.py. A példa egy választ ellenőriz G-Eval-lal, ahol a kritériumokat közérthetően írod le, és a DeepEval ebből generálja az értékelési lépéseket. Futtasd így: ",{"tag":186,"children":230},[231],"deepeval test run test_example.py",". A teszt elbukik, ha a helyességi pontszám 0,5 alatt van.",{"type":186,"code":234},"# test_example.py\nfrom deepeval import assert_test\nfrom deepeval.metrics import GEval\nfrom deepeval.test_case import LLMTestCase, SingleTurnParams\n\n\ndef test_refund_answer():\n    correctness = GEval(\n        name='Correctness',\n        criteria='Is the actual output a correct answer to the input, consistent with the expected output?',\n        evaluation_params=[\n            SingleTurnParams.INPUT,\n            SingleTurnParams.ACTUAL_OUTPUT,\n            SingleTurnParams.EXPECTED_OUTPUT,\n        ],\n        threshold=0.5,\n    )\n    test_case = LLMTestCase(\n        input='Can I return shoes after 30 days?',\n        actual_output='You can return them within 30 days of delivery, if they are unworn.',\n        expected_output='Returns are accepted within 30 days of delivery if the item is unworn.',\n    )\n    assert_test(test_case, [correctness])",{"type":180,"level":181,"id":133,"text":134},{"type":152,"content":237},[238],"A metrika megválasztása dönt a számláról. A Faithfulness kinyeri a válasz állításait, mindegyiket ellenőrzi a visszakeresési kontextus ellen, és az állításoknak azt a hányadát pontozza, amely nem mond ellent a kontextusnak, az alapértelmezett küszöb 0,5. A bíró többet olvas, ha egy válasz sok állítást tesz, ezért a költség a válasz hosszával nő. Az evaluate() gyorsítótárazást, párhuzamosítást, költségkövetést és hibakezelést ad, a különálló measure()-hívás viszont ezeket az optimalizálásokat elveszíti. A dokumentáció arra is figyelmeztet, hogy sok metrikahívás egyszerre rate-limit hibát okozhat, ezért a párhuzamosságot igazítsd a szolgáltatód korlátjához.",{"type":240,"head":241,"rows":246},"table",[242,244],[243],"Csoport",[245],"Nevesített metrikák",[247,252,257,262,267,272,277,282,287],[248,250],[249],"Egyedi",[251],"G-Eval, DAG, Arena G-Eval, JevEval, és saját kódmetrikák, például BLEU vagy ROUGE",[253,255],[254],"Ágensek, pályák",[256],"Task Completion, Step Efficiency, Plan Adherence, Plan Quality",[258,260],[259],"Ágensek, komponensek",[261],"Tool Correctness, Argument Correctness",[263,265],[264],"Visszakeresés",[266],"Contextual Relevancy, Contextual Precision, Contextual Recall",[268,270],[269],"Generátor",[271],"Answer Relevancy, Faithfulness",[273,275],[274],"Többfordulós csevegők",[276],"Knowledge Retention, Role Adherence, Conversation Completeness, Conversation Relevancy",[278,280],[279],"Biztonság",[281],"Bias, Toxicity, Non-Advice, Misuse, PIILeakage, Role Violation",[283,285],[284],"Kép",[286],"Image Coherence, Image Helpfulness, Image Reference, Text-to-Image, Image-Editing",[288,290],[289],"Egyéb",[291],"Hallucination, JSON Correctness, Summarization, Ragas",{"type":293,"variant":294,"title":295,"body":296},"callout","note","Ahol lehet, determinisztikus",[297],[298],"A Tool Correctness kivétel a bíró-először szabály alól. A magpontszáma azt számolja, hány meghívott eszköz egyezik a várt eszközökkel, és ebben nincs modell. Egy opcionális második ellenőrzés LLM-mel ítéli meg az eszközválasztást, de csak akkor, ha átadod a rendelkezésre álló eszközöket, és a végső pontszám a kettő közül az alacsonyabb.",{"type":180,"level":181,"id":136,"text":137},{"type":152,"content":301},[302],"A kézzel írt tesztesetek gyorsan elfogynak, ezért a DeepEval generálhat is. A generate_goldens_from_docs dokumentumelérési utak listáját kapja, beolvassa a .txt, .docx, .pdf és Markdown fájlokat, a darabokat chromadb-ben tárolja, és egy kritikusmodell 0 és 1 közötti pontszámmal értékeli minden darabot. Alapértelmezés szerint minden goldenhez tartozik elvárt kimenet is. OpenAI-kulcs nélkül saját beágyazó modellt és saját LLM-et kell megadnod, mert az alapértelmezett beágyazó a text-embedding-3-small. A dokumentáció nem ír le felülvizsgálati lépést, ezért kérj meg valakit, hogy olvasson el egy mintát, mielőtt a generált készlet regressziós csomaggá válik.",{"type":152,"content":304},[305,306,309],"A red teaming külön csomag. A DeepTeam egy Apache-2.0 keretrendszer LLM-ek és KI-ágensek red teaming-tesztelésére, több mint 50 kész sebezhetőséggel és több mint 20 kutatásalapú támadási módszerrel, egy- és többfordulós formában. Bíró-alapú metrikái helyben futnak, és indoklással együtt átmenet vagy elbukás eredményt adnak. Ellenőrzéseit az OWASP Top 10 for LLMs 2025, az OWASP Top 10 for Agents 2026, a NIST AI RMF és a MITRE ATLAS szerint sorolja be, telepítése: ",{"tag":186,"children":307},[308],"pip install -U deepteam",". A platform AI red teaming modulja az árazási oldal szerint az Enterprise ++ csomagban van.",{"type":152,"content":311},[312,313,316,317,320,321,324,325,328,329,332],"A dokumentáció CI-mintája rövid. A bíró kulcsát ",{"tag":186,"children":314},[315],"OPENAI_API_KEY"," néven tárold a titkos adatok között, a ",{"tag":186,"children":318},[319],"CONFIDENT_API_KEY","-t csak akkor add hozzá, ha az eredményeknek a platformra kell kerülniük, és futtasd a ",{"tag":186,"children":322},[323],"deepeval test run"," parancsot. Kulcs nélkül ugyanezek a tesztek helyben is lefutnak. A ",{"tag":186,"children":326},[327],"--official"," (vagy ",{"tag":186,"children":330},[331],"-o",") kapcsolóval egy futtatást hivatalos alapvonalként jelölhetsz a Confident AI-n.",{"type":186,"code":334},"- name: Run LLM tests\n  env:\n    OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}\n    CONFIDENT_API_KEY: ${{ secrets.CONFIDENT_API_KEY }}\n  run: poetry run deepeval test run test_llm_app.py",{"type":180,"level":181,"id":139,"text":140},{"type":152,"content":337},[338],"A könyvtár a bíró mellett nem kerül semmibe. A platformnak négy csomagja van, havonta, szervezetenként számlázva, és az árazási oldalon nincs dátum, ezért tervezés előtt ellenőrizd újra.",{"type":240,"head":340,"rows":349},[341,343,345,347],[342],"Csomag",[344],"Ár",[346],"Tartalmazza",[348],"Mit ad hozzá",[350,359,368,377],[351,353,355,357],[352],"Free",[354],"$0",[356],"2 férőhely, 1 projekt, 1 GB-hónap nyomkövetési adat",[358],"heti 5 tesztfuttatás",[360,362,364,366],[361],"Starter",[363],"havi $200",[365],"Korlátlan férőhely, 5 projekt, 5 GB-hónap, utána GB-hónaponként $1",[367],"Online értékelések, annotációs sorok, valós idejű riasztás",[369,371,373,375],[370],"Team",[372],"havi $2000",[374],"Korlátlan férőhely és projekt, 75 GB-hónap, utána GB-hónaponként $1",[376],"SOC 2, SSO, saját szerepkörök, egyedi szerződések és SLA-k",[378,380,381,383],[379],"Enterprise",[249],[382],"Korlátlan használat",[384],"On-prem, egyedi adatrezidencia, 24x7 támogatás, red teaming modul (Enterprise ++)",{"type":152,"content":386},[387],"Összehasonlításként: a Braintrust Starter szintje ingyenes, 14 napos megőrzéssel, a Pro csomagja havi $249, a feldolgozott adat GB-onként $3, a pontszámok pedig 1000-enként $1,50, a benne foglalt mennyiségen felül. A Confident AI Starter csomagja fix havi $200, férőhelydíj nélkül, és tartalmazza az online értékeléseket és az annotációs sorokat.",{"type":152,"content":389},[390,391,393,394,397],"Három külön adatáramlás van, és más-más kérdésre válaszolnak. A bíró megkapja a tesztesetet, tehát modell beállítása nélkül ez a tartalom az OpenAI-hoz megy, a laptopodról vagy a CI-futtatóról. A Confident AI csak akkor kap eredményeket, ha a ",{"tag":186,"children":392},[319]," be van állítva, és a GitHub README szerint a felhőplatform használatakor minden tesztesetet automatikusan naplóz a rendszer. A harmadik a telemetria: alapértelmezés szerint a DeepEval alapvető, nem azonosító számokat küld, például hány értékelés futott és mely metrikákat használták, az adatvédelmi oldal pedig a PostHogot nevezi meg az egyetlen célnak. A ",{"tag":186,"children":395},[396],"DEEPEVAL_TELEMETRY_OPT_OUT=1"," beállítással kikapcsolhatod.",{"type":152,"content":399},[400,401,404],"A platformon a GYIK szerint az adatokat egy privát AWS-felhőben tárolják, amelyhez csak a szervezeted fér hozzá. Az alapértelmezett régió az Egyesült Államok, az EU pedig minden csomagban elérhető. Bejelentkezéskor vagy regisztrációkor válaszd ki, vagy futtasd a ",{"tag":186,"children":402},[403],"deepeval set-confident-region EU"," parancsot, amely csak a DeepEvalt állítja be. A régióoldal hozzáteszi, hogy az API-kulcs önmagában nem dönti el, hová kerülnek az adatok, ezért a két végpontot is állítsd be.",{"type":186,"code":406},"deepeval set-confident-region EU\nexport CONFIDENT_BASE_URL=https:\u002F\u002Feu.api.confident-ai.com\nexport CONFIDENT_OTEL_ENDPOINT=https:\u002F\u002Feu.otel.confident-ai.com\u002Fv1\u002Ftraces",{"type":152,"content":408},[409],"A szerződéshez: az alvállalkozói lista, amelyet utoljára 2026. február 18-án módosítottak, azt mondja, hogy minden ügyfél adatfeldolgozási szerződést kap. A személyes adatok a kiválasztott régióban maradnak, hacsak a teljesítmény vagy a rendelkezésre állás miatt, vagy megállapodás alapján nem kell őket áthelyezni. A lista az OpenAI-t az AI-modellek futtatásához említi, csak az USA-ban, az AWS-t, a ClickHouse-t, a Supabase-t és a PostHogot pedig az USA-ban és Európában. A felhő megőrzési idejét nem találtam meg egyetlen megnyitott oldalon sem, ezért kérd írásban, mielőtt éles adat kerül be. Az önálló üzemeltetés vállalati opció, a helyi telepítés pedig ugyanezt a két változót a saját hosztjaidra állítja.",{"type":293,"variant":411,"title":412,"body":413},"warn","Amit az EU-opció nem változtat meg",[414],[415],"A régióbeállítás azt szabályozza, hol tárolja és dolgozza fel a Confident AI a platformadatokat. A bírót nem mozgatja. Ha a bíró az OpenAI, a hívások akkor is az OpenAI-hoz mennek, bárhol vannak a platformadataid. Szigorú európai beállításhoz hosztold magad a bírót, például Ollamával, és mérd a pontszámait olyan eseteken, amelyeket magad címkéztél, mielőtt rájuk támaszkodnál.",{"type":180,"level":181,"id":142,"text":143},{"type":152,"content":418},[419],"Három gyengeség a legfontosabb. Először: a pontszámok nem ismételhetők meg. A G-Eval dokumentáció szerint a metrika nem determinisztikus, ezért a küszöb közeli pontszám néha átbillen, és a bíró korlátozza mindent, amit vele mérsz. Másodszor: a felület nagy. A metrikalista hosszú, a generált goldenek dokumentumútvonalához chromadb és több LangChain-csomag kell, a dokumentáció pedig a Python-parancs mellett TypeScript-parancsot is mutat, bár ehhez a bemutatóhoz minden általam ellenőrzött példa Python volt. Harmadszor: a platform árlépcsői durvák. Az ingyenes csomag heti öt tesztfuttatása nem bír el egy forgalmas pipeline-t, és a havi $200-ról $2000-re ugrás nagy egy olyan csapatnak, amelyik csak közös előzményt akar.",{"type":180,"level":181,"id":145,"text":146},{"type":152,"content":422},[423],"A DeepEval az alapértelmezett jó választás olyan Python-csapatnak, amely LLM-viselkedési teszteket szeretne ugyanabban a futtatóban és ugyanabban a pull requestben, mint a többi tesztjét. A könyvtár és a DeepTeam is Apache-2.0 licencű, a metrikalista ágenseket, visszakeresést, beszélgetéseket és biztonságot fed le saját bírók írása nélkül, a helyi mód pedig fiók nélkül működik. Nem javaslom ott, ahol a tesztadatok nem érhetnek el olyan bírót, amelyben megbízol, vagy ahol a nem mérnököknek az első naptól hosztolt munkaterület kell. Ezekben az esetekben válassz alternatívát.",{"type":190,"ordered":425,"items":426},true,[427,432,437],[428,431],{"tag":195,"children":429},[430],"Ragas, ha ","Apache-2.0 eszköztárat szeretnél előre elkészített metrikákkal és teszt-adatgenerálással, és nincs szükséged a Confident AI platformjára.",[433,436],{"tag":195,"children":434},[435],"Promptfoo, ha ","deklaratív konfigurációt szeretnél, amely promptokat és modelleket hasonlít össze a parancssorban és a CI-ben, a red teaminggel ugyanabban az eszközben. A MIT-licencelt tároló szerint a Promptfoo ma már az OpenAI része, ezt mérlegeld a szállítói szabályaiddal.",[438,441],{"tag":195,"children":439},[440],"Braintrust, ha ","hosztolt felületet és a Pro csomagban kattintásos adatfeldolgozási szerződést szeretnél, és elfogadod a mérésüket, ahol a benne foglalt adatokon és pontszámokon felüli használat a havi $249 mellé számlázódik.",{"type":180,"level":181,"id":148,"text":149},{"type":190,"ordered":191,"items":444},[445,450,454,458,462,466,470,474,478,482,486,490,494,498,502,506,510,514],[446],{"tag":447,"href":38,"children":448},"a",[449],"DeepEval-dokumentáció: első lépések",[451],{"tag":447,"href":41,"children":452},[453],"GitHub: confident-ai\u002Fdeepeval, a README és a licenc",[455],{"tag":447,"href":44,"children":456},[457],"PyPI: deepeval, a legújabb kiadás és a Python-követelmény",[459],{"tag":447,"href":47,"children":460},[461],"DeepEval-dokumentáció: metrikák áttekintése",[463],{"tag":447,"href":50,"children":464},[465],"DeepEval-dokumentáció: G-Eval",[467],{"tag":447,"href":53,"children":468},[469],"DeepEval-dokumentáció: Faithfulness",[471],{"tag":447,"href":56,"children":472},[473],"DeepEval-dokumentáció: Tool Correctness",[475],{"tag":447,"href":59,"children":476},[477],"DeepEval-dokumentáció: goldenek generálása dokumentumokból",[479],{"tag":447,"href":62,"children":480},[481],"DeepEval-dokumentáció: egységtesztelés CI\u002FCD-ben",[483],{"tag":447,"href":65,"children":484},[485],"DeepEval GYIK",[487],{"tag":447,"href":68,"children":488},[489],"DeepEval-dokumentáció: adatvédelem",[491],{"tag":447,"href":71,"children":492},[493],"GitHub: confident-ai\u002Fdeepteam, a red teaming keretrendszer",[495],{"tag":447,"href":74,"children":496},[497],"Confident AI árazás",[499],{"tag":447,"href":77,"children":500},[501],"Confident AI-dokumentáció: adatrezidencia",[503],{"tag":447,"href":80,"children":504},[505],"Confident AI alvállalkozói lista",[507],{"tag":447,"href":83,"children":508},[509],"GitHub: explodinggradients\u002Fragas, README",[511],{"tag":447,"href":86,"children":512},[513],"GitHub: promptfoo\u002Fpromptfoo, README",[515],{"tag":447,"href":89,"children":516},[517],"Braintrust árazás",[519,632,709,815],{"slug":520,"published":5,"minutes":6,"category":7,"tags":521,"keywords":527,"about":535,"sources":548,"cover":624,"og":625,"expertise":92,"locales":626,"lang":96,"title":627,"description":628,"coverAlt":629,"url":538,"pricing":630,"kind":631},"dspy",[522,523,524,525,526],"Prompt optimisation","LLM programs","MIPROv2","GEPA","Python",[520,528,529,530,531,532,533,534],"dspy tutorial","dspy optimizer","miprov2","gepa prompt optimization","dspy vs prompt engineering","automatic prompt optimization","dspy signatures",[536,539,542,545],{"name":537,"url":538},"DSPy","https:\u002F\u002Fdspy.ai",{"name":540,"url":541},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":543,"url":544},"Bayesian optimization","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBayesian_optimization",{"name":546,"url":547},"Fine-tuning (deep learning)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FFine-tuning_(deep_learning)",[549,552,555,558,561,564,567,570,573,576,579,582,585,588,591,594,597,600,603,606,609,612,615,618,621],{"title":550,"url":551},"DSPy home and cost example","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002F",{"title":553,"url":554},"DSPy installation","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fgetting-started\u002Finstallation\u002F",{"title":556,"url":557},"DSPy: program, don't prompt","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fgetting-started\u002Fprogram-dont-prompt\u002F",{"title":559,"url":560},"DSPy signatures","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fdiving-deeper\u002Fsignatures-in-depth\u002F",{"title":562,"url":563},"DSPy metrics","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fgetting-started\u002Fmetrics\u002F",{"title":565,"url":566},"DSPy Example API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fprimitives\u002FExample\u002F",{"title":568,"url":569},"DSPy Predict API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fmodules\u002FPredict\u002F",{"title":571,"url":572},"DSPy ChainOfThought API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fmodules\u002FChainOfThought\u002F",{"title":574,"url":575},"DSPy ReAct API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fmodules\u002FReAct\u002F",{"title":577,"url":578},"DSPy optimizers index","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Foptimizers\u002F",{"title":580,"url":581},"DSPy MIPROv2 API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Foptimizers\u002FMIPROv2\u002F",{"title":583,"url":584},"MIPROv2 source code","https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy\u002Fblob\u002Fmain\u002Fdspy\u002Fteleprompt\u002Fmipro_optimizer_v2.py",{"title":586,"url":587},"DSPy BootstrapFewShot API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Foptimizers\u002FBootstrapFewShot\u002F",{"title":589,"url":590},"DSPy BootstrapFinetune API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Foptimizers\u002FBootstrapFinetune\u002F",{"title":592,"url":593},"DSPy GEPA guide","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fgetting-started\u002Fgepa-optimization\u002F",{"title":595,"url":596},"GEPA source code","https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy\u002Fblob\u002Fmain\u002Fdspy\u002Fteleprompt\u002Fgepa\u002Fgepa.py",{"title":598,"url":599},"DSPy saving programs","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Ftutorials\u002Fsaving\u002F",{"title":601,"url":602},"DSPy caching","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Ftutorials\u002Fcache\u002F",{"title":604,"url":605},"DSPy LM API","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Fapi\u002Fmodels\u002FLM\u002F",{"title":607,"url":608},"DSPy FAQ","https:\u002F\u002Fdspy.ai\u002Fcurrent\u002Ffaqs\u002F",{"title":610,"url":611},"DSPy GitHub repository","https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy",{"title":613,"url":614},"DSPy 3.4.0 release","https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002Fdspy\u002Freleases\u002Ftag\u002F3.4.0",{"title":616,"url":617},"DSPy paper, arXiv","https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.03714",{"title":619,"url":620},"MIPRO paper, arXiv","https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.11695",{"title":622,"url":623},"GEPA paper, arXiv","https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.19457","\u002Fimages\u002Fblog\u002Fdspy\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdspy\u002Fog.jpg",[94,95,96],"DSPy-kritika: promptok metrikához igazítva, nem kézzel","A DSPy aláírásokból, metrikából és példákból állítja elő a promptokat. Mennyibe kerül az optimalizálás modellhívásokban, és mikor éri meg a kézi prompt helyett.","Borítókép a DSPy-kritikához: egy aláírás és egy metrika egy optimalizálóba fut, amely mentett programot fordít.","MIT · free, you pay the model API","Prompt optimisation framework",{"slug":633,"published":634,"minutes":6,"category":7,"tags":635,"keywords":641,"about":649,"sources":659,"cover":701,"og":702,"expertise":92,"locales":703,"lang":96,"title":704,"description":705,"coverAlt":706,"url":651,"pricing":707,"kind":708},"llama-cpp","2026-10-05",[636,637,638,639,640],"llama.cpp","GGUF","Quantisation","Local inference","llama-server",[636,642,643,644,645,646,647,648],"llama.cpp review","GGUF quantisation levels","llama-server OpenAI compatible","llama.cpp vs Ollama","run LLM locally GDPR","llama.cpp CUDA Metal Vulkan","Q4_K_M vs Q8_0",[650,652,653,656],{"name":636,"url":651},"https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp",{"name":33,"url":34},{"name":654,"url":655},"Quantization (signal processing)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FQuantization_(signal_processing)",{"name":657,"url":658},"General Data Protection Regulation","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FGeneral_Data_Protection_Regulation",[660,662,665,668,671,674,677,680,683,686,689,692,695,698],{"title":661,"url":651},"llama.cpp repository: goals, backends, licence",{"title":663,"url":664},"llama.cpp releases: builds b11538 to b11541","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Freleases",{"title":666,"url":667},"llama.cpp build documentation: CMake flags","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Fdocs\u002Fbuild.md",{"title":669,"url":670},"llama.cpp server README: endpoints, slots and grammars","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Ftools\u002Fserver\u002FREADME.md",{"title":672,"url":673},"llama.cpp quantisation README: bits, size and speed","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Ftools\u002Fquantize\u002FREADME.md",{"title":675,"url":676},"GGUF specification in the ggml repository","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fggml\u002Fblob\u002Fmaster\u002Fdocs\u002Fgguf.md",{"title":678,"url":679},"Performance of llama.cpp on Apple Silicon M-series","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fdiscussions\u002F4167",{"title":681,"url":682},"Performance of llama.cpp on Nvidia CUDA","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fdiscussions\u002F15013",{"title":684,"url":685},"Ollama README: supported backends and REST API","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":687,"url":688},"LM Studio documentation: app overview","https:\u002F\u002Flmstudio.ai\u002Fdocs\u002Fapp",{"title":690,"url":691},"vLLM README: features, hardware and licence","https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm",{"title":693,"url":694},"vLLM documentation: GGUF support","https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Ffeatures\u002Fquantization\u002Fgguf.html",{"title":696,"url":697},"GDPR Article 28: processor","https:\u002F\u002Fgdpr-info.eu\u002Fart-28-gdpr\u002F",{"title":699,"url":700},"GDPR Article 32: security of processing","https:\u002F\u002Fgdpr-info.eu\u002Fart-32-gdpr\u002F","\u002Fimages\u002Fblog\u002Fllama-cpp\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllama-cpp\u002Fog.jpg",[94,95,96],"llama.cpp-teszt: a helyi motor az Ollama és az LM Studio alatt","A llama.cpp tiszta C\u002FC++ motor nyílt modellekhez, Metal, CUDA, Vulkan vagy CPU alatt. A GGUF-kvantálásokról, a llama-serverről és a korlátokról írok.","Borítókép a llama.cpp-teszthez: egy GGUF-fájl több háttérmotorra ágazik, majd egy OpenAI-stílusú API mögött áll.","MIT · free","Local inference runtime",{"slug":710,"published":634,"minutes":711,"category":7,"tags":712,"keywords":718,"about":726,"sources":738,"cover":808,"og":809,"expertise":92,"locales":810,"lang":96,"title":811,"description":812,"coverAlt":813,"url":750,"pricing":814,"kind":713},"opik",7,[713,714,715,716,717],"LLM observability","Tracing","Evaluation","OpenTelemetry","Self-hosting",[710,719,720,721,722,723,724,725],"opik review","opik vs langfuse","opik pricing","self-hosted llm tracing","opik opentelemetry","llm as a judge metrics","opik guardrails",[727,730,732,735],{"name":728,"url":729},"Comet ML","https:\u002F\u002Fwww.comet.com",{"name":716,"url":731},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":733,"url":734},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",{"name":736,"url":737},"Apache License","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FApache_License",[739,742,745,748,751,754,757,760,763,766,769,772,775,778,781,784,787,790,793,796,799,802,805],{"title":740,"url":741},"Opik repository README on GitHub","https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik",{"title":743,"url":744},"Opik LICENSE file: Apache License 2.0","https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\u002Fblob\u002Fmain\u002FLICENSE",{"title":746,"url":747},"Opik on PyPI: package metadata","https:\u002F\u002Fpypi.org\u002Fpypi\u002Fopik\u002Fjson",{"title":749,"url":750},"Opik product page","https:\u002F\u002Fwww.comet.com\u002Fsite\u002Fproducts\u002Fopik\u002F",{"title":752,"url":753},"Opik pricing","https:\u002F\u002Fwww.comet.com\u002Fsite\u002Fpricing\u002F",{"title":755,"url":756},"Opik docs: run locally with Docker Compose","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fself-host\u002Flocal_deployment",{"title":758,"url":759},"Opik docs: Kubernetes deployment with Helm","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fself-host\u002Fkubernetes",{"title":761,"url":762},"Opik docs: platform architecture","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fself-host\u002Farchitecture",{"title":764,"url":765},"Opik docs: tracing getting started","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Ftracing\u002Fgetting-started",{"title":767,"url":768},"Opik docs: OpenTelemetry integration","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fintegrations\u002Fopentelemetry",{"title":770,"url":771},"Opik docs: evaluation metrics overview","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fevaluation\u002Fmetrics\u002Foverview",{"title":773,"url":774},"Opik docs: online evaluation rules","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fproduction\u002Fonline-evaluation\u002Frules",{"title":776,"url":777},"Opik docs: Prompt Library overview","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fdevelopment\u002Fprompt-library\u002Foverview",{"title":779,"url":780},"Opik docs: optimisation algorithms","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fdevelopment\u002Foptimization-runs\u002Falgorithms\u002Foverview",{"title":782,"url":783},"Opik docs: guardrails overview","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fguardrails\u002Foverview",{"title":785,"url":786},"Opik docs: guardrails server","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fguardrails\u002Fserver",{"title":788,"url":789},"Opik docs: SDK anonymizers","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fproduction\u002Fgateway-guardrails\u002Fanonymizers",{"title":791,"url":792},"Opik docs: data anonymization","https:\u002F\u002Fwww.comet.com\u002Fdocs\u002Fopik\u002Fadministration\u002Fdata_anonymization",{"title":794,"url":795},"Comet ML privacy policy","https:\u002F\u002Fwww.comet.com\u002Fsite\u002Fprivacy-policy\u002F",{"title":797,"url":798},"Comet Trust Center","https:\u002F\u002Ftrust.comet.com\u002F",{"title":800,"url":801},"Langfuse repository README (licence)","https:\u002F\u002Fgithub.com\u002Flangfuse\u002Flangfuse",{"title":803,"url":804},"Arize Phoenix repository README (licence)","https:\u002F\u002Fgithub.com\u002FArize-ai\u002Fphoenix",{"title":806,"url":807},"LangChain pricing (LangSmith plans)","https:\u002F\u002Fwww.langchain.com\u002Fpricing","\u002Fimages\u002Fblog\u002Fopik\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fopik\u002Fog.jpg",[94,95,96],"Opik teszt: nyílt forrású nyomkövetés és értékelés, amerikai felhővel","Nyomok, judge-metrikák, promptverziók és optimalizáló egy Apache 2.0 platformon. Saját szerveren ingyen, a Pro felhő havi 19 dollár, az USA-ban hosztolt.","Borítókép az Opik-teszthez: egy nyom az alkalmazásból a backendbe jut, onnan egy judge-hoz és egy pontszám-kapuhoz.","Apache 2.0 · free to self-host · Pro cloud from $19 a month",{"slug":816,"published":817,"minutes":818,"category":7,"tags":819,"keywords":822,"about":829,"sources":833,"cover":851,"og":852,"expertise":92,"locales":853,"lang":96,"title":854,"description":855,"coverAlt":856,"url":857,"pricing":858,"kind":708},"ollama","2026-09-29",11,[639,820,636,637,821],"Open models","Model serving",[816,823,824,825,826,827,828],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[830],{"name":831,"url":832},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[834,837,839,842,845,848],{"title":835,"url":836},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":838,"url":685},"Ollama on GitHub, with the MIT LICENSE file",{"title":840,"url":841},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":843,"url":844},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":846,"url":847},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":849,"url":850},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg",[94,95,96],"Ollama teszt: a barátságos út a nyílt modellekhez","Az Ollama egyetlen HTTP API-n szolgál ki nyílt modelleket saját hardveren. Ami jól megy, hol elmarad az átvitel, és mit nem fed le az MIT-licenc.","Borítókép az Ollama teszthez: egy kérés a 11434-es porton átmegy az ütemezőn és a motoron, és streamelt tokeneket ad vissza; alatta a modell betöltése és az üresjáratban történő kirakása.","https:\u002F\u002Follama.com","MIT · free for personal use",1791636875761]