[{"data":1,"prerenderedAt":620},["ShallowReactive",2],{"tool-braintrust-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":21,"sources":31,"cover":56,"og":57,"expertise":58,"locales":59,"lang":62,"title":63,"description":64,"coverAlt":65,"url":24,"pricing":66,"kind":67,"metaTitle":68,"takeaways":69,"faq":75,"toc":88,"blocks":113,"others":390},"braintrust","2026-07-07",10,"llmops",[9,10,11,12,13],"Evaluations","Observability","LLM-as-a-judge","CI gates","Tracing",[4,15,16,17,18,19,20],"braintrust pricing","braintrust eval","autoevals library","braintrust vs langfuse","llm evaluation platform","eval driven development",[22,25,28],{"name":23,"url":24},"Braintrust","https:\u002F\u002Fwww.braintrust.dev",{"name":26,"url":27},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",{"name":29,"url":30},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",[32,35,38,41,44,47,50,53],{"title":33,"url":34},"Braintrust pricing: plans, credits and usage rates","https:\u002F\u002Fwww.braintrust.dev\u002Fpricing",{"title":36,"url":37},"Braintrust documentation: plans and limits","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs\u002Fplans-and-limits",{"title":39,"url":40},"Braintrust documentation: evaluation quickstart","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs\u002Fevaluation-quickstart",{"title":42,"url":43},"Braintrust documentation: get started","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs",{"title":45,"url":46},"GitHub: Braintrust organisation repositories","https:\u002F\u002Fgithub.com\u002Forgs\u002Fbraintrustdata\u002Frepositories",{"title":48,"url":49},"Arize Phoenix documentation: self-hosting","https:\u002F\u002Farize.com\u002Fdocs\u002Fphoenix\u002Fself-hosting",{"title":51,"url":52},"Langfuse pricing: cloud plans and billable units","https:\u002F\u002Flangfuse.com\u002Fpricing",{"title":54,"url":55},"LangChain pricing: LangSmith plans","https:\u002F\u002Fwww.langchain.com\u002Fpricing","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fog.jpg","ai-engineer",[60,61,62],"en","de","hu","Braintrust teszt: eval-first observability kemény mérőórával","A Braintrust a termelési trace-ekből datasetet és gate-elt kísérleteket csinál. Mit ad a Starter és a Pro, mi a nyílt forrás, és hol erősebb a Phoenix, a Langfuse és a LangSmith.","Hurok az instrumentált alkalmazási logoktól egy dataseten át a scorerokkal futó kísérletig, majd az összehasonlításig, amely blokkolja a pull requestet, mielőtt a változás visszakerül az alkalmazásba.","Free · from $249 per month","Evaluation platform","Braintrust: eval-first observability · Balázs Csorba",[70,71,72,73,74],"A Starter valóban használható, de kicsi: 1 GB feldolgozott adat, 10 000 pontszám és 14 nap megőrzés, utána a Pro havi 249 dollár 5 GB-ért, 50 000 pontszámért és 30 napért.","A feldolgozott adatot bevételnél mérik, a trace-ek törlése tehát nem csökkenti a számlát, a túlfutás pedig Starteren gigabájtonként 4 dollár, Pron gigabájtonként 3 dollár.","A platform zárt forrássú, az eszközök nyíltak: hat nyelvi SDK Apache-2.0 alatt, autoevals MIT-tel, bt CLI Apache-2.0-val.","A BYOC és a self-hosting Enterprise-t kér, a SAML SSO, az audit naplózás, az egyéni megőrzés és a SOC 2 tanúsítvány szintén Enterprise-tételek.","0 és 249 dollár között nincs szint, ezért a Braintrust olcsó egyedüli értékelési projektnél, és drága annak a csapatnak, amely csak dashboardokat akart.",[76,79,82,85],{"q":77,"a":78},"Mennyibe kerül a Braintrust?","A Starter 0 dollár, 10 dollár modell-egyenleggel, 1 GB feldolgozott adattal, 10 000 pontszámmal és 14 napos megőrzéssel, korlátlan felhasználóval, projekttel, datasettel, playgrounddal és kísérlettel. A Pro havi 249 dollár 100 dollár egyenlegért, 5 GB-ért, 50 000 pontszámért, 30 napos megőrzésért, egyedi chartokért, környezetekért, RBAC-ért és kiemelt támogatásért. Az Enterprise egyedi áras, és hozzáadja a BYOC-ot, a self-hostinget, a SAML vagy OIDC belépést, az audit naplózást, a BAA-t és a rendelkezésre állási SLA-t.",{"q":80,"a":81},"Nyílt forrássú a Braintrust?","A platform nem, az eszközök jelentős része igen. A Python, TypeScript, Go, Ruby, Java és C# SDK-k Apache-2.0 alatt futnak, az autoevals MIT alatt, körülbelül ezer GitHub-csillaggal, a braintrust-proxy MIT-tel, az agentbehavior szabvány pedig Apache-2.0 alatt. A szolgáltatás self-hostelt változata az Enterprise tarifáig nem létezik.",{"q":83,"a":84},"Mit számít pontszámnak az árlista?","A pontszám egy rögzített értékelési eredmény, legyen az LLM-as-a-judge hívás, autoevals scorer vagy saját kód, amely egy trace-hez vagy kísérletsorhoz kapcsolódik. A Starter havi 10 000-et ad, majd 2,50 dollárt kér ezerenként; a Pro 50 000-et ad, majd 1,50 dollárt ezerenként. A judge-alapú értékelés dataseten gyorsan felszaporodik, ezért a pontszám-limit gyakran hamarabb kifogy, mint maguk az adatok.",{"q":86,"a":87},"Braintrust vagy Arize Phoenix?","Braintrust, ha az értékelésnek a CI-ben a helye, és a platformdíj elfogadható: az Eval API, a scorer-könyvtár és az eval-action egyetlen integráció. Phoenix, ha a trace-ek nem hagyhatják el a saját infrastruktúrát, mert a Braintrust BYOC-ja és self-hostingje Enterprise-szerződést kér, míg a Phoenix az Elastic License 2.0 alatt szabadon self-hostelhető.",[89,92,95,98,101,104,107,110],{"id":90,"title":91},"what-it-is","Mi ez",{"id":93,"title":94},"how-it-works","Hogyan működik",{"id":96,"title":97},"getting-started","Első lépések",{"id":99,"title":100},"pricing","Mennyibe kerül",{"id":102,"title":103},"open-or-closed","Mi nyílt és mi nem",{"id":105,"title":106},"where-it-shingles","Hol akad",{"id":108,"title":109},"verdict","Ítélet",{"id":111,"title":112},"sources","Források",[114,123,126,129,132,150,153,154,161,170,173,174,181,183,190,197,198,201,246,249,255,256,259,271,274,275,278,324,327,332,333,336,349,354,355],{"type":115,"content":116},"paragraph",[117,118,122],"A Braintrust egy hosztolt platform, amely instrumentál egy LLM-alkalmazást, eltárolja a trace-jeit, és datasetek ellen pontozza őket, olyan formában, ami megismételhető. A súlypontja az értékelés: egy ",{"tag":119,"children":120},"code",[121],"Eval()"," hívás, amely feladatot futtat egy dataset fölött, pontozza a kimeneteket, és minden lefutást összehasonlítható kísérletként tárol. Ennek az értékelésnek az álláspontja: a Braintrust a kategóriájának legerősebb eval-first terméke, és a legjobban megmért a versenytársai közül — a technika kiváló, a számlázás pedig azokat a csapatokat jutalmazza, akik pontosan tudják, mennyi adatot szándékoznak küldeni.",{"type":115,"content":124},[125],"Három feladatot fed le, amit máskülönben szétosztanának eszközök között: tracing a termelésben, offline értékelés, és a köztük lévő gate a folyamatos integrációban. Az Arize Phoenix és a Langfuse a nyílt forrássú oldalon versenyez, a LangSmith azokkal, akik már LangGraph-ra építenek. Általában rosszabbat vált ki: egy tesztkészletet, amely hívja a modellt, pontszámot nyomtat a stdout-ra, és akkor törlődik, amikor elkezd szétesni.",{"type":127,"level":128,"id":90,"text":91},"heading",2,{"type":115,"content":130},[131],"A Braintrust a Braintrust Data SaaS-terméke, három objektumra építve: logok, amelyek az alkalmazás trace-jei; datasetek, amelyek bemeneti és elvárt kimeneti sorok; és kísérletek, amelyek feladatot futtatnak egy dataset fölött, hozzárendelt scorerokkal. A dokumentáció ötlépéses workflowt ír le — instrumentálni, megfigyelni, annotálni, értékelni, kiadni —, és SDK-kat szállít Pythonhoz, TypeScripthez, Go-hoz, Rubyhoz, Javához és C#-höz. Maga a platform zárt forrássú; az eszközök jó része nem az.",{"type":133,"ordered":134,"items":135},"list",false,[136,138,140,142,144,146,148],[137],"Licenc: a platform zárt forrássú; SDK-k Apache-2.0, autoevals MIT, braintrust-proxy MIT",[139],"Instrumentálás: a braintrust.auto_instrument() a folyamatban már futó szolgáltatói klienseket csomagolja, plusz bt CLI az agentes beállításhoz",[141],"Értékelés: Eval() dataset fölött autoevals scorerokkal, saját kóddal vagy LLM-as-a-judge-dal",[143],"Tarifák: Starter 0 dollár, Pro havi 249 dollár, Enterprise egyedi áron, mindhárom korlátlan felhasználóval, projekttel, datasettel és kísérlettel",[145],"Mérés: feldolgozott adat gigabájtban, pontszám ezrenként, modell-egyenleg dollárban",[147],"Deployolás: SaaS a Starteren és a Pron, BYOC és self-hosting csak az Enterprise-ban",[149],"Extrák: playgroundok, környezetek és egyedi chartok Pron felül, továbbá a Loop, egy beépített agent, amely scorerokat, teszteseteket és prompt-iterációkat ír",{"type":115,"content":151},[152],"Ez az utolsó sor az árulkodó jel. A Braintrust abból indul ki, hogy a platform más problémája, az értékelés pedig a tiéd, és az ezt elfogadó csapatok nagyon rövid hurkot kapnak a termelési hibától a datasetsorig, majd a gate-elt kiadásig. Akiknek a teljes rendszernek a saját fiókjukban kell lennie, azok arra jönnek rá, hogy ennek a hurknak az ára egy Enterprise-szerződés, nem a 249 dolláros tarifa.",{"type":127,"level":128,"id":93,"text":94},{"type":115,"content":155},[156,157,160],"Az instrumentálás a folyamatban történik: a ",{"tag":119,"children":158},[159],"braintrust.auto_instrument()"," azt a szolgáltatói klient fűzi be, amelyet az alkalmazás amúgy is használ, így a spanek költségekkel érkeznek, és nem kell sidecart telepíteni. Minden egy projektbe kerül, a logok, a datasetek és a kísérletek pedig ugyanezt a projektet osztják meg — ezért lehet egy termelési trace-et tesztesetté emelni, export nélkül.",{"type":162,"attrs":163,"inner":167,"caption":168},"diagram",{"viewBox":164,"role":165,"aria-labelledby":166},"0 0 715 300","img","d1-bt-t d1-bt-d","\u003Ctitle id='d1-bt-t'>A Braintrust-hurok a trace-től a gate-elt kiadásig\u003C\u002Ftitle>\u003Cdesc id='d1-bt-d'>Egy instrumentált alkalmazás trace-eket és költségeiket naplóz egy projektbe. A termelési trace-ek dataset-sorokká válnak, egy kísérlet feladatot futtat a dataset föl scorerokkal, és két lefutás összehasonlítása blokkolja a pull requestet, mielőtt a változás visszakerül az alkalmazásba.\u003C\u002Fdesc>\u003Ctext x='20' y='28' class='d-title'>Egy hurok, három dolog\u003C\u002Ftext>\u003Ctext x='695' y='28' text-anchor='end' class='d-label'>projekt-hatókör\u003C\u002Ftext>\u003Crect x='20' y='50' width='150' height='64' rx='10' class='d-box'\u002F>\u003Ctext x='95' y='78' text-anchor='middle' class='d-text'>App + SDK\u003C\u002Ftext>\u003Ctext x='95' y='100' text-anchor='middle' class='d-small'>auto_instrument\u003C\u002Ftext>\u003Crect x='195' y='50' width='150' height='64' rx='10' class='d-accent'\u002F>\u003Ctext x='270' y='78' text-anchor='middle' class='d-text'>Logok\u003C\u002Ftext>\u003Ctext x='270' y='100' text-anchor='middle' class='d-small'>trace, költség\u003C\u002Ftext>\u003Crect x='370' y='50' width='150' height='64' rx='10' class='d-sky'\u002F>\u003Ctext x='445' y='78' text-anchor='middle' class='d-text'>Dataset\u003C\u002Ftext>\u003Ctext x='445' y='100' text-anchor='middle' class='d-small'>sorok a trace-ből\u003C\u002Ftext>\u003Crect x='545' y='50' width='150' height='64' rx='10' class='d-gold'\u002F>\u003Ctext x='620' y='78' text-anchor='middle' class='d-text'>Kísérlet\u003C\u002Ftext>\u003Ctext x='620' y='100' text-anchor='middle' class='d-small'>task + scorerok\u003C\u002Ftext>\u003Cpath d='M172 82 H193' class='d-line' marker-end='url(#ah-bt)'\u002F>\u003Cpath d='M347 82 H368' class='d-line' marker-end='url(#ah-bt)'\u002F>\u003Cpath d='M522 82 H543' class='d-line' marker-end='url(#ah-bt)'\u002F>\u003Crect x='250' y='160' width='220' height='64' rx='10' class='d-mint'\u002F>\u003Ctext x='360' y='188' text-anchor='middle' class='d-text'>Futások összevetése\u003C\u002Ftext>\u003Ctext x='360' y='210' text-anchor='middle' class='d-small'>pull request blokkol\u003C\u002Ftext>\u003Cpath d='M620 114 V192 H472' class='d-line' marker-end='url(#ah-bt)'\u002F>\u003Cpath d='M250 192 H95 V116' class='d-line' marker-end='url(#ah-bt)'\u002F>\u003Cdefs>\u003Cmarker id='ah-bt' viewBox='0 0 10 10' refX='9' refY='5' markerWidth='7' markerHeight='7' orient='auto-start-reverse'>\u003Cpath d='M0 0L10 5L0 10z' class='d-head'\u002F>\u003C\u002Fmarker>\u003C\u002Fdefs>\u003Ctext x='20' y='256' class='d-small'>A scorer lehet autoevals, saját kód vagy judge-hívás, amely soronként egy modellkérést költ.\u003C\u002Ftext>\u003Ctext x='20' y='282' class='d-label'>Minden kísérlet tartós record: a második lefutást diffelik az elsőhöz\u003C\u002Ftext>",[169],"A trace-ek, a datasetek és a kísérletek egy projektet osztanak meg, így termelési hibából lesz teszteset export nélkül.",{"type":115,"content":171},[172],"A különlegesség az összehasonlítás. Egy kísérlet tartós record, a második lefutás pedig új kísérletnéven a felületen össze van vetve az elsővel. A dokumentáció saját quickstartje erre épít: az első lefutás ExactMatch alatt majdnem nulla, mert a modell mondatban válaszol, a promptot szűkítik csupasz címre, és a második kísérlet a növekedést pontszám-deltaként adja meg, nem benyomásként.",{"type":127,"level":128,"id":96,"text":97},{"type":115,"content":175},[176,177,180],"Két kulcs és egy fájl: ",{"tag":119,"children":178},[179],"BRAINTRUST_API_KEY"," a platformhoz, a szolgáltatói kulcs a modellhez, és egy Python-fájl az adatokkal, a feladattal és a scorerrel. Az alábbi részlet a dokumentált quickstart formája az ismétlés nélkül:",{"type":119,"code":182},"# BRAINTRUST_API_KEY és OPENAI_API_KEY környezeti változók\n# pip install braintrust openai autoevals\nimport braintrust\nfrom braintrust import Eval\nfrom autoevals import ExactMatch\nfrom openai import OpenAI\n\nbraintrust.auto_instrument()  # minden hívást naplóz ebben a folyamatban\nclient = OpenAI()\n\ndef task(input):\n    r = client.responses.create(\n        model=\"gpt-5-mini\",\n        input=[{\"role\": \"system\", \"content\": \"Name the film.\"},\n               {\"role\": \"user\", \"content\": input}],\n    )\n    return r.output_text\n\nEval(\n    \"movie-matcher\",\n    experiment_name=\"baseline-v1\",\n    data=[{\"input\": \"A detective hunts a killer through the seven deadly sins.\",\n           \"expected\": \"Se7en\"}],\n    task=task,\n    scores=[ExactMatch],\n)",{"type":115,"content":184},[185,186,189],"Futtasd ",{"tag":119,"children":187},[188],"bt eval movie_matcher.py"," paranccsal, a terminál pedig kiírja a kísérlet linkjét; a sima Python is működik, mert a CLI csak a belépési pontot csomagolja. Ugyanezt a fájlt futtatja a pull request: az eval-action GitHub-workflow a main ellen futtatja, és bukik a build, ha egy pontszám visszaesik.",{"type":191,"variant":192,"title":193,"body":194},"callout","warn","A pontozást kiszámlázzák, nem csak kiszámolják",[195],[196],"Minden scorer-hívás, amely rögzít egy pontszámot, a havi keretből vonul — Starteren 10 000, Pron 50 000 —, és a judge-alapú értékelés is beletartozik, soronként egy modellkéréssel. A scorerokat a valóban fontos hibákra érdemes tartani, mert egy nagy dataset teljes lefutása többe kerülhet, mint amelyik trace előállította.",{"type":127,"level":128,"id":99,"text":100},{"type":115,"content":199},[200],"Három tarifa és nincs középső fok: az árlap a Startert 0 dollárral, a Prot havi 249 dollárral, az Enterprisest egyedi áron sorolja fel, korlátlan felhasználóval, projekttel, datasettel, playgrounddal és kísérlettel mindháromban. Ami eltér, az a mérőóra:",{"type":202,"head":203,"rows":214},"table",[204,206,208,210,212],[205],"Tarifa",[207],"Ár",[209],"Feldolgozott adat",[211],"Pontszám",[213],"Megőrzés",[215,226,237],[216,218,220,222,224],[217],"Starter",[219],"0 dollár",[221],"1 GB, utána 4 dollár\u002FGB",[223],"10 000, utána 2,50 dollár \u002F 1 000",[225],"14 nap",[227,229,231,233,235],[228],"Pro",[230],"havi 249 dollár",[232],"5 GB, utána 3 dollár\u002FGB",[234],"50 000, utána 1,50 dollár \u002F 1 000",[236],"30 nap, utána 0,50 dollár \u002F GB-hó",[238,240,242,243,244],[239],"Enterprise",[241],"Egyedi",[241],[241],[245],"Egyedi, akár 365 nap",{"type":115,"content":247},[248],"Mellette futnak a modell-egyenlegek: havonta 10 dollár Starteren és 100 dolláron Pron a beépített modelleket és a platformfunkciókat, például a Topicsot fedi, utána token-árak érvényesek. A váltás bináris — amelyik csapat kinövi az 1 GB-ot és a 14 napot, a teljes 249 dollárt fizeti, igaz, a dokumentáció jogosult új startup-ügyfeleknek hat-tizenkét hónap Pro-t ad.",{"type":191,"variant":250,"title":251,"body":252},"note","A feldolgozott adatot bevételnél számolják",[253],[254],"A tarifalap világosan megírja: a feldolgozott adat a bevételnél mért bájt, és a törlés nem csökkenti, a zajos trace-ek összehúzása tehát soha nem farag vissza a számlából. A kísérletek eredményeit minden tarifán akár 365 napig őrzik, a logok és a playground-adatok viszont a 14 vagy 30 napos ablakot követik, ez egyben a horizontja annak, amit az alsó tarifák még lekérdezhetnek.",{"type":127,"level":128,"id":102,"text":103},{"type":115,"content":257},[258],"Ez a különbség külön szakaszt érdemel, mert a A Braintrust nyílt forrássú mondat éppen ott hamis, ahol számít: Enterprise alatt nem tudod magad üzemeltetni a platformot. Ami nyílt, az az instrumentálás és az értékelési eszköztár körülötte.",{"type":133,"ordered":134,"items":260},[261,263,265,267,269],[262],"braintrust-sdk-python, -javascript, -go és -ruby: Apache-2.0",[264],"autoevals: MIT, körülbelül ezer csillag, a quickstart által importált scorer-könyvtár",[266],"braintrust-proxy: MIT, proxy a modellforgalom előtt",[268],"agentbehavior: Apache-2.0, nyílt szabvány és dataset az agentek viselkedéséhez",[270],"A bt CLI és a coding-agent pluginok: Apache-2.0 vagy MIT; a hosztolt webalkalmazás nem publikus",{"type":115,"content":272},[273],"Egy engineering-csapatnak ez a különbség a beszerzésig legfeljebb filozófiai, onnantól viszont a vita tárgya. Az elútválasztást is meghatározza: az SDK-k átállíthatók másik backendre az alkalmazás átírása nélkül, de a datasetek, kísérletek és dashboardok a Braintrust szolgáltatásában élnek, az S3-ba vagy Google Cloud Storagebe ütemezett export pedig Enterprise-funkció.",{"type":127,"level":128,"id":105,"text":106},{"type":115,"content":276},[277],"Az első gyengeség a számtan. 0 és 249 dollár között nincs tarifa, az ingyenes szint 1 GB-ja és 14 napja demóköltségvetés egy termelési agentnek, a pontozás pedig a bevételre jön rá, aki tehát minden termelési trace fölött judge-t futtat, a pontszám-keret előbb merül ki, mint az adat. A második, amit az alsó tarifák nem hordoznak: a SAML SSO, az audit naplózás, az egyéni megőrzés, az export-automatizálás, a SOC 2 tanúsítvány és a Business Associate Agreement mind Enterprise-tétel, a Starter pedig korlátozott a tulajdonos-engedélycsoportra és projektenként egy human-review pontszámra. A harmadik a szerződési sodródás: a dokumentáció még mindig hordoz egy régi-tarifa megjegyzést a 2026. március 16. előtt létrehozott fiókokhoz, a régi feltételek alatti értékelést tehát érdemes újracsinálni.",{"type":202,"head":279,"rows":288},[280,282,284,286],[281],"Eszköz",[283],"Ingyenes szint",[285],"Első fizetős szint",[287],"Self-hosting",[289,297,306,315],[290,291,293,295],[23],[292],"1 GB, 10 000 pontszám, 14 nap",[294],"Pro havi 249 dollár",[296],"Csak Enterprise",[298,300,302,304],[299],"Arize Phoenix",[301],"Nincs korlát helyi telepítésnél",[303],"AX Pro havi 50 dollár",[305],"Ingyenes, ELv2",[307,309,311,313],[308],"Langfuse",[310],"50 000 egység, 30 nap, 2 felhasználó",[312],"Core havi 29 dollár",[314],"Ingyenes, Docker Compose",[316,318,320,322],[317],"LangSmith",[319],"1 ülőhely, 5 000 alap-trace",[321],"Plus 39 dollár ülőhelyenként",[323],"Enterprise kiegészítő",{"type":115,"content":325},[326],"Őszintén olvasva a Braintrust és a Phoenix nem ugyanazon a tengelyen versenyez: az egyik olyan csapatokra van árazva, akik értékelési folyamatot vesznek, a másik olyanokra, akik birtokolják az infrastruktúrát. A Langfuse a legközelebbi közvetlen helyettesítő, nagyjából harmadannyi belépő áron, a LangSmith pedig a természetes választás, ha az alkalmazás már LangGraphon ül, és a saját trace-formátumok fontosabbak a scorer-könyvtárnál.",{"type":328,"content":329},"quote",[330,331],"A SaaS minden tarifában elérhető. A BYOC és a self-hostes deployolás, amelyek az adatot a saját felhőben tartják, Enterprise-t igényel."," — Braintrust dokumentáció, tarifák és korlátok",{"type":127,"level":128,"id":108,"text":109},{"type":115,"content":334},[335],"A Braintrust megtérül, ha az értékelés rendszeres engineering-rituálé, és nem egyszeri script: a kísérletmodell, a scorer-könyvtár és a CI-akció egy olyan hurkot ad, amely alkatrészekből összerakni unalmas munka. Rossz választás olyan csapatnak, amelynek fő igénye egy dashboard mögötti traces tárolás, mert az 249 dolláros szokás adatszámlával.",{"type":133,"ordered":337,"items":338},true,[339,341,343,345,347],[340],"Válaszd, ha egy pull requestnek eval-regresszión kell buknia, és azt akarod, hogy a scorer-könyvtár már meglegyen.",[342],"Válaszd, ha több szerep — fejlesztők, reviewerök, product manager — ugyanazokat a kísérleteket és dashboardokat szeretné; az ülőhelyek minden tarifában korlátlanok.",[344],"Válaszd, ha a volumen kiszámítható: 5 GB és 50 000 pontszám havonta ismert mennyiség, a túlfutási árak pedig nyilvánosak.",[346],"Ne válassz, ha a trace-eknek a saját fiókban kell maradniuk; a BYOC és a self-hosting Enterprise-szerződést kér.",[348],"Ne válassz, ha a terhelés beszédes és korlátlan: a bevételnél mért mérés plusz pontszám-díj drágává tesz egy zajos agentet, az ülőhelyes eszközökkel ellentétben.",{"type":191,"variant":250,"title":350,"body":351},"Ítélet egy mondatban",[352],[353],"Egy fejlesztő fél napos figyelmének áráért a Braintrust azt az értékelési fegyelmet adja, amelyet a legtöbb csapat megépíteni tervez, és soha be nem fejez. Az értékelési hurkért vedd, nem a trace-tárolásért; tárolásra egyedül a self-hostelt Phoenix vagy egy 29 dolláros Langfuse-tarifa ugyanazt a munkát végzi, töredék áron.",{"type":127,"level":128,"id":111,"text":112},{"type":133,"ordered":337,"items":356},[357,362,366,370,374,378,382,386],[358],{"tag":359,"href":34,"children":360},"a",[361],"Braintrust árak: tarifák, egyenlegek és használati díjak",[363],{"tag":359,"href":37,"children":364},[365],"Braintrust dokumentáció: tarifák és korlátok",[367],{"tag":359,"href":40,"children":368},[369],"Braintrust dokumentáció: értékelési quickstart",[371],{"tag":359,"href":43,"children":372},[373],"Braintrust dokumentáció: első lépések",[375],{"tag":359,"href":46,"children":376},[377],"GitHub: Braintrust szervezet tárolói",[379],{"tag":359,"href":49,"children":380},[381],"Arize Phoenix dokumentáció: self-hosting",[383],{"tag":359,"href":52,"children":384},[385],"Langfuse árak: cloud tarifák és számlázható egységek",[387],{"tag":359,"href":55,"children":388},[389],"LangChain árak: LangSmith tarifák",[391,440,522,577],{"slug":392,"published":393,"minutes":394,"category":7,"tags":395,"keywords":401,"about":408,"sources":412,"cover":431,"og":432,"expertise":58,"locales":433,"lang":62,"title":434,"description":435,"coverAlt":436,"url":437,"pricing":438,"kind":439},"ollama","2026-09-29",11,[396,397,398,399,400],"Local inference","Open models","llama.cpp","GGUF","Model serving",[392,402,403,404,405,406,407],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[409],{"name":410,"url":411},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[413,416,419,422,425,428],{"title":414,"url":415},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":417,"url":418},"Ollama on GitHub, with the MIT LICENSE file","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":420,"url":421},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":423,"url":424},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":426,"url":427},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":429,"url":430},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg",[60,61,62],"Ollama teszt: a barátságos út a nyílt modellekhez","Az Ollama egyetlen HTTP API-n szolgál ki nyílt modelleket saját hardveren. Ami jól megy, hol elmarad az átvitel, és mit nem fed le az MIT-licenc.","Absztrakt borítókép az Ollama teszthez","https:\u002F\u002Follama.com","MIT · free for personal use","Local inference runtime",{"slug":441,"published":442,"minutes":394,"category":7,"tags":443,"keywords":448,"about":456,"sources":463,"cover":515,"og":516,"expertise":58,"locales":517,"lang":62,"title":518,"description":519,"coverAlt":520,"url":459,"pricing":521,"kind":444},"portkey","2026-09-28",[444,445,446,10,447],"LLM gateway","Guardrails","Routing","Cost control",[449,450,451,452,453,454,455],"portkey ai gateway","portkey vs litellm","llm gateway comparison","llm gateway latency overhead","llm guardrails gateway","self-hosted llm gateway","portkey pricing",[457,460],{"name":458,"url":459},"Portkey","https:\u002F\u002Fportkey.ai",{"name":461,"url":462},"API gateway","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FAPI_gateway",[464,467,470,473,476,479,482,485,488,491,494,497,500,503,506,509,512],{"title":465,"url":466},"Portkey docs: AI Gateway","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway",{"title":468,"url":469},"Portkey docs: Getting started with the AI Gateway","https:\u002F\u002Fdocs.portkey.ai\u002Fdocs\u002Fguides\u002Fgetting-started\u002Fgetting-started-with-ai-gateway",{"title":471,"url":472},"Portkey docs: Gateway config object","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fapi-reference\u002Fconfig-object",{"title":474,"url":475},"Portkey docs: Guardrails","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails",{"title":477,"url":478},"Portkey docs: Guardrail endpoints and capabilities","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails\u002Fcapabilities",{"title":480,"url":481},"Portkey docs: Cache, simple and semantic","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fcache-simple-and-semantic",{"title":483,"url":484},"Portkey docs: Load balancing","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fload-balancing",{"title":486,"url":487},"Portkey docs: Enterprise hybrid deployment architecture","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fself-hosting\u002Fhybrid-deployments\u002Farchitecture",{"title":489,"url":490},"Portkey pricing","https:\u002F\u002Fportkey.ai\u002Fpricing",{"title":492,"url":493},"Portkey gateway on GitHub, MIT licensed","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway",{"title":495,"url":496},"Portkey's own benchmark: gateway versus direct Bedrock","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fbenchmark-test",{"title":498,"url":499},"Portkey status page","https:\u002F\u002Fstatus.portkey.ai\u002F",{"title":501,"url":502},"Palo Alto Networks completes acquisition of Portkey, May 2026","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fcompany\u002Fpress\u002F2026\u002Fpalo-alto-networks-completes-acquisition-of-portkey-to-secure-ai-agents",{"title":504,"url":505},"Palo Alto Networks: Prisma AIRS AI Gateway","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fai-security\u002Fai-gateway",{"title":507,"url":508},"Cloudflare AI Gateway pricing","https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-gateway\u002Freference\u002Fpricing\u002F",{"title":510,"url":511},"LiteLLM pricing","https:\u002F\u002Fwww.litellm.ai\u002Fpricing",{"title":513,"url":514},"OpenRouter pricing","https:\u002F\u002Fopenrouter.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Fportkey\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fportkey\u002Fog.jpg",[60,61,62],"Portkey: éles LLM-átjáró, routing, guardrailok és költség szerint","A Portkey egy OpenAI-kompatibilis végpont mögé szorítja a retry-t, a fallbacket, a cache-t, a guardrailokat és a költségkövetést. Ami jól működik, és mi az ára késleltetésben.","A kérés útja az alkalmazástól a Portkey-átjárón át három modellszolgáltatóig, alatta a guardrail-ítélet és a naplóbejegyzés.","Free · from $49 per month",{"slug":523,"published":524,"minutes":6,"category":7,"tags":525,"keywords":529,"about":537,"sources":546,"cover":570,"og":571,"expertise":58,"locales":572,"lang":62,"title":573,"description":574,"coverAlt":575,"url":539,"pricing":576,"kind":526},"langfuse","2026-08-13",[526,13,527,287,528],"LLM observability","OpenTelemetry","Evaluation",[523,530,531,532,533,534,535,536],"langfuse vs langsmith","llm tracing tool","self-hosted llm observability","langfuse pricing","opentelemetry llm traces","llm cost tracking","prompt versioning",[538,540,542,545],{"name":308,"url":539},"https:\u002F\u002Flangfuse.com",{"name":527,"url":541},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":543,"url":544},"ClickHouse","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FClickHouse",{"name":29,"url":30},[547,550,553,555,558,561,564,567],{"title":548,"url":549},"Langfuse documentation: observability and application tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Foverview",{"title":551,"url":552},"Langfuse documentation: get started with tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Fget-started",{"title":554,"url":52},"Langfuse pricing: cloud plans, billable units and worked examples",{"title":556,"url":557},"Langfuse pricing: self-hosted plans and the feature comparison","https:\u002F\u002Flangfuse.com\u002Fpricing-self-host",{"title":559,"url":560},"Self-host Langfuse: deployment options, containers and storage services","https:\u002F\u002Flangfuse.com\u002Fself-hosting",{"title":562,"url":563},"Langfuse changelog: v4 is live (17 August 2026)","https:\u002F\u002Flangfuse.com\u002Fchangelog\u002F2026-08-17-langfuse-v4",{"title":565,"url":566},"Langfuse blog: Langfuse joins ClickHouse (16 January 2026)","https:\u002F\u002Flangfuse.com\u002Fblog\u002Fjoining-clickhouse",{"title":568,"url":569},"GitHub: langfuse\u002Flangfuse, the platform repository","https:\u002F\u002Fgithub.com\u002Flangfuse\u002Flangfuse","\u002Fimages\u002Fblog\u002Flangfuse\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flangfuse\u002Fog.jpg",[60,61,62],"Langfuse bemutatás: nyomkövetés, promptok és értékelések saját szerveren","A Langfuse egy MIT-licencelt platformra teszi az LLM-nyomokat, a promptverziókat és a kísérleteket. Mibe kerül a saját telepítés, hogy számol a Usage-alapú ár, és hol veszít.","Egy pipeline a kötegelt alkalmazás-eseménytől a Langfuse web konténeren és az objektumtáron át a ClickHouseig, mellette a Redis és a PostgreSQL.","MIT · paid from $59 per month",{"slug":578,"published":579,"minutes":6,"category":7,"tags":580,"keywords":585,"about":592,"sources":596,"cover":612,"og":613,"expertise":58,"locales":614,"lang":62,"title":615,"description":616,"coverAlt":617,"url":618,"pricing":619,"kind":444},"openrouter","2026-07-23",[444,581,582,583,584],"Model routing","Fallbacks","OpenAI-compatible","Pay per token",[578,586,451,587,588,589,590,591],"openrouter vs litellm","openrouter pricing","openai compatible api gateway","llm fallback routing","multi model api gateway","byok llm routing",[593],{"name":594,"url":595},"OpenRouter","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenRouter",[597,600,601,604,607,610],{"title":598,"url":599},"OpenRouter documentation: quickstart","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fquickstart",{"title":513,"url":514},{"title":602,"url":603},"OpenRouter documentation: model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":605,"url":606},"OpenRouter documentation: provider routing","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fprovider-selection",{"title":608,"url":609},"OpenRouter documentation index","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fllms.txt",{"title":611,"url":595},"Wikipedia: OpenRouter","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fog.jpg",[60,61,62],"OpenRouter: egy API-kulcs a katalógus minden modellje előtt","OpenRouter egyetlen OpenAI-kompatibilis végpont mögé tereli a 80+ szolgáltató 500+ modelljét, fallbackkel és listaáron. Mennyibe kerül, és hol törik el.","Kérési útvonal az OpenRouteren át: kliens, router, lehetséges szolgáltatók, fallback lista és a végül válaszoló modell.","https:\u002F\u002Fopenrouter.ai","Pay per token, no subscription",1791383550224]