[{"data":1,"prerenderedAt":716},["ShallowReactive",2],{"tool-portkey-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":29,"cover":81,"og":82,"expertise":83,"locales":84,"lang":87,"title":88,"description":89,"coverAlt":90,"url":25,"pricing":91,"kind":9,"metaTitle":92,"takeaways":93,"faq":99,"toc":112,"blocks":137,"others":509},"portkey","2026-09-28",11,"llmops",[9,10,11,12,13],"LLM gateway","Guardrails","Routing","Observability","Cost control",[15,16,17,18,19,20,21],"portkey ai gateway","portkey vs litellm","llm gateway comparison","llm gateway latency overhead","llm guardrails gateway","self-hosted llm gateway","portkey pricing",[23,26],{"name":24,"url":25},"Portkey","https:\u002F\u002Fportkey.ai",{"name":27,"url":28},"API gateway","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FAPI_gateway",[30,33,36,39,42,45,48,51,54,57,60,63,66,69,72,75,78],{"title":31,"url":32},"Portkey docs: AI Gateway","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway",{"title":34,"url":35},"Portkey docs: Getting started with the AI Gateway","https:\u002F\u002Fdocs.portkey.ai\u002Fdocs\u002Fguides\u002Fgetting-started\u002Fgetting-started-with-ai-gateway",{"title":37,"url":38},"Portkey docs: Gateway config object","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fapi-reference\u002Fconfig-object",{"title":40,"url":41},"Portkey docs: Guardrails","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails",{"title":43,"url":44},"Portkey docs: Guardrail endpoints and capabilities","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails\u002Fcapabilities",{"title":46,"url":47},"Portkey docs: Cache, simple and semantic","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fcache-simple-and-semantic",{"title":49,"url":50},"Portkey docs: Load balancing","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fload-balancing",{"title":52,"url":53},"Portkey docs: Enterprise hybrid deployment architecture","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fself-hosting\u002Fhybrid-deployments\u002Farchitecture",{"title":55,"url":56},"Portkey pricing","https:\u002F\u002Fportkey.ai\u002Fpricing",{"title":58,"url":59},"Portkey gateway on GitHub, MIT licensed","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway",{"title":61,"url":62},"Portkey's own benchmark: gateway versus direct Bedrock","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fbenchmark-test",{"title":64,"url":65},"Portkey status page","https:\u002F\u002Fstatus.portkey.ai\u002F",{"title":67,"url":68},"Palo Alto Networks completes acquisition of Portkey, May 2026","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fcompany\u002Fpress\u002F2026\u002Fpalo-alto-networks-completes-acquisition-of-portkey-to-secure-ai-agents",{"title":70,"url":71},"Palo Alto Networks: Prisma AIRS AI Gateway","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fai-security\u002Fai-gateway",{"title":73,"url":74},"Cloudflare AI Gateway pricing","https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-gateway\u002Freference\u002Fpricing\u002F",{"title":76,"url":77},"LiteLLM pricing","https:\u002F\u002Fwww.litellm.ai\u002Fpricing",{"title":79,"url":80},"OpenRouter pricing","https:\u002F\u002Fopenrouter.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Fportkey\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fportkey\u002Fog.jpg","ai-engineer",[85,86,87],"en","de","hu","Portkey: éles LLM-átjáró, routing, guardrailok és költség szerint","A Portkey egy OpenAI-kompatibilis végpont mögé szorítja a retry-t, a fallbacket, a cache-t, a guardrailokat és a költségkövetést. Ami jól működik, és mi az ára késleltetésben.","A kérés útja az alkalmazástól a Portkey-átjárón át három modellszolgáltatóig, alatta a guardrail-ítélet és a naplóbejegyzés.","Free · from $49 per month","Portkey: routing, guardrailok és késleltetés · Csorba Balázs",[94,95,96,97,98],"A Portkey routing-konfigurációja a termék legerősebb része: zárt séma, négy egymásba ágyazható stratégiamód, 100-ra normalizált súlyok, és olyan circuit breaker, amelynek cooldownja nem állítható 30 másodperc alá.","A menhelyezett átjáró egy hálózati ugrás. A Portkey saját benchmark-repójában a mért érték átlagosan plusz 93 ms a közvetlen Bedrock-híváshoz képest, és 50–150 ms-ot nevez tipikusnak a két további ugrásra.","A guardrailok mindig csak az utolsó üzenetet olvassák, képet soha; a szinkron letiltás 446-ot ad vissza, olyan státuszkódot, amelyet a legtöbb SDK újrapróbálkozásra utónak tekint.","A számlázás rögzített naplókon alapul, nem kéréseken, és az ár-oldal és a cache-dokumentáció nem ért egyet abban, hogy a 49 dolláros Production csomag tartalmazza-e a szemantikus cache-t.","A 2026. májusi felvásárlás óta a Prisma AIRS részeként szállítják, ami a szerződő felet változtatja meg, az API-t nem.",[100,103,106,109],{"q":101,"a":102},"Mi a Portkey, és mit csinál valójában egy LLM-átjáró?","Az LLM-átjáró proxy, amely a kliens és a hívott modellszolgáltatók közé kerül. A Portkey átjárója a szolgáltatói kulcsokat, retry-ket, fallbackeket, súlyozott routingot, cache-t, guardrailokat és költség-hozzárendelést JSON-konfigurációba szervezi, ami a kéréshez csatolódik. Így az OpenAI-kompatibilis kliens változatlanul működik, miközben a routing-politika a dashboardon, nem pedig egy deployban változik.",{"q":104,"a":105},"Ad-e késleltetést a Portkey a modellhívásokhoz?","A menhelyezett változat igen. A Portkey saját benchmark-repója átlagosan plusz 93 ms-t, mediánban plusz 25 ms-t mér a felhős átjáró és a közvetlen Bedrock-hívás között, a README pedig 50–150 ms-ot nevez tipikusnak a két további ugrásra. Saját üzemeltetésnél más a szám: az átjáró repója 1 ms alatti feldolgozási időt említ.",{"q":107,"a":108},"Nyílt forrású-e a Portkey?","Az átjáró MIT-licencű, és egyetlen npm paranccsal indul el; a kiadott csomag jelenleg az 1.15.2-es verziónál tart, egy 2.0 előkiadási ág készül. A control plane, a dashboard, a Model Catalog és az enterprise telepítési lehetőségek kereskedelmi termékek. Az átjáró saját futtatása nem adja meg a menhelyezett terméket.",{"q":110,"a":111},"Portkey vagy LiteLLM?","A LiteLLM MIT-licencű, menhelyezett szint nélkül, ezért nyer a költségen és az adatokon is, ahol a hálózaton belül maradnak; a dashboardokat magad építed. A Portkey akkor nyer, ha a routing-politika, a guardrailok és a tárolt hitelesítő adatok egy másval által üzemeltetett termékben akarnak élni, és elfogadod a havi 49 dollárt 100 ezer naplóért, plusz 9 dollárt minden további 100 ezerért.",[113,116,119,122,125,128,131,134],{"id":114,"title":115},"what-it-is","Mi ez valójában",{"id":117,"title":118},"how-it-works","Hogyan működik",{"id":120,"title":121},"getting-started","Első lépések",{"id":123,"title":124},"guardrails","Guardrailok",{"id":126,"title":127},"pricing-and-latency","Ár és késleltetés",{"id":129,"title":130},"where-it-shingles","Hol nem passzol",{"id":132,"title":133},"verdict","Ítélet",{"id":135,"title":136},"sources","Források",[138,142,145,148,151,190,191,194,203,206,209,211,218,219,222,224,231,238,239,242,260,266,267,270,308,311,314,352,357,360,361,364,410,413,414,417,432,438,439],{"type":139,"content":140},"paragraph",[141],"A Portkey LLM-átjáró: proxy, amely a kliens és a hívott modellszolgáltatók közé kerül, és a szolgáltatói kulcsokat, retry-ket, fallbackeket, cache-t, guardrailokat és költség-hozzárendelést konfigurációs objektumokba szervezi alkalmazáskód helyett. A piacon elérhető átjárók közül ez az egyik legteljesebb, és mióta a Palo Alto Networks 2026 májusában lezárta a Portkey felvásárlását, a Prisma AIRS részeként is szállítják. Az álláspont: a routing réteg a legerősebb a maga kategóriájában, és megéri az operatív függést, a menhelyezett üzemeltetésnél és a guardrail-szemantikánál viszont ott vannak a buktatók.",{"type":139,"content":143},[144],"Amit lecserél, az a saját kezű retry-wrapper, amelyet minden csapat megír az LLM-termék első hónapjában: általában egy try blokk egy sleeppel, egy beégetett szolgáltatói kulccsal, és nulla nyilvántartással arról, mi került ki. A Portkey ezt egyetlen OpenAI-kompatibilis alap-URL mögé teszi, így az OpenAI SDK, az Anthropic SDK, a LangChain vagy egy nyers fetch ugyanazt a végpontot szólaltatja meg. Versenytársai a LiteLLM, amely ingyenes és saját kézben fut, az OpenRouter, amely fizetős piactér vezérlő sík helyett, és a Cloudflare AI Gateway, amely majdnem ingyenes, mert olyan infrastruktúrán fut, amért az amúgy is fizetnek.",{"type":146,"level":147,"id":114,"text":115},"heading",2,{"type":139,"content":149},[150],"A Portkey valójában két termék egy repositoryban. Az átjáró maga MIT-licencű Node proxy, amely egyetlen parancsból indul, a 8787-es porton szolgál helyi konzolal; a körülötte lévő control plane fizetős szolgáltatás, amely a hitelesítő adatokat tárolja, a konfigurációs felületet hosztolja és a naplókat tartja. Ez a split magyaráz szinte mindent. Amit a proxy csinál, az jól dokumentált és ingyenes, és amit a control plane csinál, ott lakik az ár, a guardrail-katalógus és a megfelelési történet.",{"type":152,"ordered":153,"items":154},"list",false,[155,170,172,178,184,186,188],[156,157,161,162,165,166,169],"Egyetlen parancsból indul, ",{"tag":158,"children":159},"code",[160],"npx @portkey-ai\u002Fgateway",", a ",{"tag":158,"children":163},[164],"localhost:8787"," címen szolgál, konzolja a ",{"tag":158,"children":167},[168],"\u002Fpublic\u002F"," útvonalon.",[171],"MIT-licencű, körülbelül 13 100 GitHub-csillaggal és 1 300 forkkal; a kiadott npm csomag az 1.15.2-es verziónál tart, egy 2.0 előkiadási ágon dolgoznak.",[173,174,177],"Egy OpenAI-kompatibilis végpont, plusz az Anthropic ",{"tag":158,"children":175},[176],"\u002Fv1\u002Fmessages"," és az Open Responses formátum. Csak a modell-string változik, ha a szolgáltató.",[179,180,183],"A modell-string hordozza a szolgáltatót: az ",{"tag":158,"children":181},[182],"@openai-prod\u002Fgpt-4o"," egy tárolt integrációra oldódik fel, a költségkeretével és a rate limitjével együtt.",[185],"A stratégiaobjektumok ágyazhatók egymásba. Egy fallback tartalmazhat load balancert, amely egy újabb fallbackt tartalmaz, mindegyik saját súlyokkal, státuszkód-kiváltókkal és circuit breakerrel.",[187],"A guardrailok bemenetet és kimenetet is értékelnek, aszinkron, további késleltetés nélkül, vagy szinkron, dokumentált 246-os és 446-os deny kódokkal.",[189],"2026 májusa óta a Palo Alto Networks tulajdona, Prisma AIRS AI Gateway néven értékesítve, 2026. július 16-tól általánosan elérhető.",{"type":146,"level":147,"id":117,"text":118},{"type":139,"content":192},[193],"A kérés Portkey API-kulccsal és általában egy config-csal érkezik. A config megnevez egy stratégiát és egy cél-listát. Az átjáró minden célt felold egy tárolt szolgáltatói integrációra, a config szerint cache-el és guardrailoz, továbbítja a kiválasztott szolgáltatónak, majd naplósort ír a késleltetésről, a tokenekről és a költségről. A különbség a kézzel írt proxyhoz képest nem a továbbításban van, hanem abban, hogy a döntés adat: ugyanaz a JSON fut változatlanul a menhelyezett termékben, az open source proxyban és a saját VPC-ben futó data plane-ben.",{"type":195,"attrs":196,"inner":200,"caption":201},"diagram",{"viewBox":197,"role":198,"aria-labelledby":199},"0 0 620 300","img","pk-flow-t pk-flow-d","\u003Ctitle id=\"pk-flow-t\">Egy kérés a Portkey átjárón keresztül\u003C\u002Ftitle>\u003Cdesc id=\"pk-flow-d\">Az alkalmazás OpenAI-kompatibilis kérést küld a Portkey átjárónak. Az átjáró alkalmazza a csatolt configot, majd retry, fallback és súlyozott routing segítségével szétosztja a kérést három szolgáltató egyikére. A guardrail-ítéletet szinkron ellenőrzi, és 246-ot vagy 446-ot ad vissza. Minden hívás naplósort ír a késleltetésről, a tokenekről és a költségről.\u003C\u002Fdesc>\u003Cdefs>\u003Cmarker id=\"ah-pk\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head\" \u002F>\u003C\u002Fmarker>\u003Cmarker id=\"ah-pk-a\" viewBox=\"0 0 10 10\" refX=\"9\" refY=\"5\" markerWidth=\"7\" markerHeight=\"7\" orient=\"auto-start-reverse\">\u003Cpath d=\"M0 0L10 5L0 10z\" class=\"d-head-accent\" \u002F>\u003C\u002Fmarker>\u003C\u002Fdefs>\u003Crect x=\"20\" y=\"100\" width=\"130\" height=\"64\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"85\" y=\"128\" text-anchor=\"middle\" class=\"d-text\">alkalmazás\u003C\u002Ftext>\u003Ctext x=\"85\" y=\"150\" text-anchor=\"middle\" class=\"d-small\">OpenAI SDK\u003C\u002Ftext>\u003Crect x=\"200\" y=\"80\" width=\"170\" height=\"104\" rx=\"10\" class=\"d-accent\" \u002F>\u003Ctext x=\"285\" y=\"116\" text-anchor=\"middle\" class=\"d-text\">Portkey átjáró\u003C\u002Ftext>\u003Ctext x=\"285\" y=\"140\" text-anchor=\"middle\" class=\"d-small\">config, retry, cache\u003C\u002Ftext>\u003Ctext x=\"285\" y=\"160\" text-anchor=\"middle\" class=\"d-small\">guardrail, napló\u003C\u002Ftext>\u003Crect x=\"20\" y=\"230\" width=\"150\" height=\"64\" rx=\"10\" class=\"d-gold\" \u002F>\u003Ctext x=\"95\" y=\"258\" text-anchor=\"middle\" class=\"d-text\">guardrail\u003C\u002Ftext>\u003Ctext x=\"95\" y=\"280\" text-anchor=\"middle\" class=\"d-small\">246, vagy 446\u003C\u002Ftext>\u003Crect x=\"200\" y=\"230\" width=\"170\" height=\"64\" rx=\"10\" class=\"d-sky\" \u002F>\u003Ctext x=\"285\" y=\"258\" text-anchor=\"middle\" class=\"d-text\">naplók\u003C\u002Ftext>\u003Ctext x=\"285\" y=\"280\" text-anchor=\"middle\" class=\"d-small\">költség, késleltetés\u003C\u002Ftext>\u003Crect x=\"450\" y=\"40\" width=\"140\" height=\"56\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"520\" y=\"74\" text-anchor=\"middle\" class=\"d-text\">OpenAI\u003C\u002Ftext>\u003Crect x=\"450\" y=\"126\" width=\"140\" height=\"56\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"520\" y=\"160\" text-anchor=\"middle\" class=\"d-text\">Anthropic\u003C\u002Ftext>\u003Crect x=\"450\" y=\"212\" width=\"140\" height=\"56\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"520\" y=\"246\" text-anchor=\"middle\" class=\"d-text\">Bedrock\u003C\u002Ftext>\u003Cpath d=\"M150 132H198\" class=\"d-line-accent\" marker-end=\"url(#ah-pk-a)\" \u002F>\u003Cpath d=\"M370 104H400V68H448\" class=\"d-line\" marker-end=\"url(#ah-pk)\" \u002F>\u003Cpath d=\"M370 132H448\" class=\"d-line\" marker-end=\"url(#ah-pk)\" \u002F>\u003Cpath d=\"M370 160H400V240H448\" class=\"d-line\" marker-end=\"url(#ah-pk)\" \u002F>\u003Ctext x=\"402\" y=\"120\" text-anchor=\"middle\" class=\"d-label\">retry, fallback\u003C\u002Ftext>\u003Cpath d=\"M250 184V210H95V228\" class=\"d-line d-dash\" marker-end=\"url(#ah-pk)\" \u002F>\u003Ctext x=\"95\" y=\"204\" text-anchor=\"middle\" class=\"d-label\">szinkron\u003C\u002Ftext>\u003Cpath d=\"M320 184V228\" class=\"d-line d-dash\" marker-end=\"url(#ah-pk)\" \u002F>\u003Ctext x=\"376\" y=\"204\" text-anchor=\"middle\" class=\"d-label\">minden hívás\u003C\u002Ftext>",[202],"Egy kérés az átjárón: a config dönt a célról, a szinkron guardrail 246-tal vagy 446-tal utasíthatja el, és minden hívás naplózódik a késleltetésével, tokenjeivel és költségével.",{"type":139,"content":204},[205],"Az érdekes ág a guardrail. Aszinkron futtatásnál, ami az alapértelmezés, az ellenőrzés párhuzamosan zajlik a modellhívással, az eredményt csak naplózzák, és a szolgáltató saját státuszkódja változatlanul visszatér. Szinkron futtatásnál az ellenőrzés blokkol: siker esetén 200, hiba esetén 246, ha a deny ki van kapcsolva, és 446, ha be. Mindkét kód azon a tartományon kívül esik, amelyre bármelyik klienskönyvtárat írták. Az a könyvtár, amely 200-tól eltérő státuszt sikernek tekint, csendben elfogad egy 246-ot, aminek meg kellett volna jelöltnek lennie; az, amely a 2xx-en kívülit kivételnek veszi, 446-nál dob, és úgy próbálja újra, mintha a hálózat hibázott volna. Ez a termék legélesebb éle.",{"type":139,"content":207},[208],"A másik fel a config objektum. A sémája zárt, négy固定的 stratégiamóddal, single, loadbalance, fallback és conditional, és rögzített kulcslistával, így egy elírás elutasításra kerül, nem pedig csendesen figyelmen kívül marad. A célok maguk is configok, és éppen ettől összeépíthetők a stratégiák.",{"type":158,"code":210},"{\n  \"strategy\": { \"mode\": \"fallback\", \"on_status_codes\": [429, 500, 503] },\n  \"retry\": { \"attempts\": 3, \"use_retry_after_headers\": true },\n  \"cb_config\": { \"failure_threshold\": 5, \"cooldown_interval\": 60000 },\n  \"targets\": [\n    { \"provider\": \"@openai-prod\",\n      \"override_params\": { \"model\": \"gpt-4o\" } },\n    { \"strategy\": { \"mode\": \"loadbalance\" },\n      \"targets\": [\n        { \"provider\": \"@anthropic-prod\", \"weight\": 0.8,\n          \"override_params\": { \"model\": \"claude-sonnet-4-5-20250929\" } },\n        { \"provider\": \"@bedrock-prod\", \"weight\": 0.2,\n          \"override_params\": { \"model\": \"anthropic.claude-3-5-sonnet-20241022-v2:0\" } }\n      ] }\n  ]\n}",{"type":139,"content":212},[213,214,217],"Három részlet megérdemli a saját figyelmet. A súlyok 100-ra normalizálódnak, és a nulla súly úgy tartja a célt a configban, hogy nem küld rá forgalmat, így a canary állítható le Rather than törölhető. A circuit breaker ",{"tag":158,"children":215},[216],"cooldown_interval"," értékének 30 000 milliszekundum a padlója, így a gyors flikkeringést védő hurok nem konfigurálható szűk retry-viharba. A sticky routing a megnevezett mezők hashét számolja egyórás alapértelmezett TTL-lel, de kétlépcsős cache-re épül, memória és Redis formájában, így Redis nélkül csak egy példányon működik.",{"type":146,"level":147,"id":120,"text":121},{"type":139,"content":220},[221],"Telepítsd az SDK-t, vegyél fel egy szolgáltatót a Model Catalogban, és módosíts egy stringet. A Portkey SDK az OpenAI kliens szuperhalmaza, így egy meglévő integrációnak rendszerint semmi másra nincs szüksége, mint az alap-URL és a kulcs cseréjére.",{"type":158,"code":223},"from portkey_ai import Portkey\n\nclient = Portkey(api_key=\"PORTKEY_API_KEY\")\n\nanswer = client.chat.completions.create(\n    model=\"@openai-prod\u002Fgpt-4o\",              # @provider-slug\u002Fmodel-name\n    messages=[{\"role\": \"user\", \"content\": \"Summarise this ticket in one line.\"}],\n)\nprint(answer.choices[0].message.content)\n\n# Same code, different model: only the string changes\nanswer = client.chat.completions.create(\n    model=\"@anthropic-prod\u002Fclaude-sonnet-4-5-20250929\",\n    max_tokens=512,\n    messages=[{\"role\": \"user\", \"content\": \"Summarise this ticket in one line.\"}],\n)\nprint(answer.choices[0].message.content)",{"type":139,"content":225},[226,227,230],"Két dolog számít, mielőtt ez élesbe kerül. A szolgáltatói slug szerveroldalon oldódik fel a Model Catalogból, nem a kérésben lévő literálból, így a rossz modell-string kérésidőben, nem deployidőben hibázik. A retry-t, cache-t és guardrailokat hordozó config pedig nincs a snippetben: vagy config ID-ként csatolódik a klienshez, vagy JSON-blobként a ",{"tag":158,"children":228},[229],"x-portkey-config"," fejlécben, és éppen ez teszi lehetővé a routing-politika módosítását deploy nélkül.",{"type":232,"variant":233,"title":234,"body":235},"callout","warn","A config módosítása termelési módosítás",[236],[237],"A dashboardon szerkesztett config pull request nélküli termelési viselkedés. Verzionizáld a JSON-t, diffeld minden módosítás előtt, és tarts meg egy működő példányt, mert a hibás fallback-lánc attól függően, melyik mező rossz, nyíltan vagy zártan esik ki.",{"type":146,"level":147,"id":123,"text":124},{"type":139,"content":240},[241],"A guardrailok olyan ellenőrzések, amelyek a kéréshez csatakoznak, és a bemenetre, a kimenetre vagy mindkettőre értékelődnek. Ők a Portkey leginkább félrekonfigurálható része, részben azért, mert a funkciólista szélesebbnek hangzik, mint a tényleges viselkedés. A dokumentáció szokatlanul nyíltan beszél a korlátokról, ami legalább megkönnyíti a megtalálásukat.",{"type":152,"ordered":153,"items":243},[244,246,248,250,256,258],[245],"A kérésben csak az utolsó üzenet értékelődik, és annak is csak a szöveges része. A képi bemeneteket, base64-et vagy URL-t, egyáltalán nem ellenőrzi.",[247],"A guardrailok nem futnak az Assistants, Audio, Images, Files, Batch, Fine-tuning, Moderations és Models végpontokon. Futnak a chat completions, completions, embeddings (csak bemenet) végpontokon, a messages, responses és prompt completions felületen.",[249],"A streamelt válaszon futó kimeneti guardrailok tájékoztató jellegűek: az eredmény a done mark utáni utolsó chunkban érkezik, és nem indít fallbacket vagy retry-t.",[251,252,255],"Ahhoz, hogy egyáltalán lássad a hook eredményeket egy streamben, a szigorú OpenAI-kompatibilitást ki kell kapcsolni a ",{"tag":158,"children":253},[254],"x-portkey-strict-open-ai-compliance"," fejléccel, mert alapértelmezés szerint levágja őket.",[257],"A szintek a csomagot követik: alap ellenőrzések a Developer csomagban, alap, partner és pro ellenőrzések a Productionben, minden, sajátot is beleértve, az Enterprise-ben. A legtöbb ellenőrzés determinisztikus, regex, JSON séma, szó- és karakterdarabszámlálás, ezek fölött LLM-alapú ellenőrzések, például promptinjekciós vizsgálat.",[259],"Partner guardrailok léteznek, köztük az Aporia, a Pillar Security, a SydeLabs, a Zscaler AI Guard és az Akto, mind HTTP-n hívva, saját timeouttal: 10 000 ms a Zscalernél, 5 000 ms az Aktónál.",{"type":139,"content":261},[262,263,265],"Az Anthropic útvonalon még egy akadály van. A ",{"tag":158,"children":264},[176]," felületen a hook eredmények külön eseményként érkeznek, amelyet az Anthropic SDK nem parse-ol, így azok olvasásához vissza kell esni cURL-re. Épp ilyen kis inkonzisztenciák döntik el, hogy egy funkciót használnak-e vagy csendben figyelmen kívül hagyják, és érdemes ezt a saját SDK-d ellen ellenőrizni, mielőtt guardrail-alapú kontrollra építesz.",{"type":146,"level":147,"id":126,"text":127},{"type":139,"content":268},[269],"A késleltetésnél a marketing és a mérés szétválik. Három szám létezik ugyanarra a termékre, és nem ugyanazt írják le. Ezért az alábbi táblázat minden számnál megnevezi a forrását, ahelyett hogy a leghízelesebbet választaná.",{"type":271,"head":272,"rows":279},"table",[273,275,277],[274],"Szám",[276],"Forrás",[278],"Mit mér",[280,287,294,301],[281,283,285],[282],"1 ms alatt",[284],"Az átjáró repository README-je",[286],"A saját üzemeltetésű proxy saját feldolgozási ideje, nem a menhelyezett oda-visszaút",[288,290,292],[289],"10 ms alatt, 99,9999%-os rendelkezésre állással",[291],"Anbiateri blog, 2025 október",[293],"Egy hosztolási állítás havi 10 milliárd kérésre, publikált módszertan nélkül",[295,297,299],[296],"Átlagosan plusz 93 ms, mediánban plusz 25 ms",[298],"A Portkey saját benchmark-repója",[300],"A felhős átjáró egy közvetlen Bedrock-híváshoz képest, két worker, iterációnként három kérés",[302,304,306],[303],"Tipikusan 50–150 ms",[305],"Ugyanaz a repó, overhead szakasz",[307],"Amit a gyártó maga a két további hálózati ugrás oda-vissza költségének nevez",{"type":139,"content":309},[310],"Az őszinte olvasat az, hogy a két szám két különböző terméket ír le. Az 1 ms alatti érték az open source proxy feldolgozási ideje, ez tényleg jó, és ez a fő érv a saját üzemeltetés mellett. A 10 ms alatti állítás hosztolási állítás módszertan nélkül. A plusz 93 ms az egyetlen, amely mellett futtatható tesztkörnyezet is van, és ugyanaz a repó 50–150 ms-ot nevez tipikusnak. Egy 400 ms-os első token idő mellett ez láthatatlan; egy 90 ms-os autocomplete vagy beszédúton az egész keretet viszi el. Tehát mérd a saját forgalmadon, ne az árajelzőlapról vedd át.",{"type":139,"content":312},[313],"Az árnál: a számlázás rögzített naplókon alapul, nem kéréseken. Ez szokatlalan és általában ártalmatlan, mert az ingyenes csomag a naplókorlát után is kiszolgál, csak már nem naplóz. A fizetős csomagoknál lesz fontos, mert a túlfogyás ára 100 ezer kérésenként rakódik a naplókeretre.",{"type":271,"head":315,"rows":324},[316,318,320,322],[317],"Csomag",[319],"Ár",[321],"Rögzített naplók",[323],"Megőrzés és tartalom",[325,334,343],[326,328,330,332],[327],"Developer",[329],"Ingyenes",[331],"10 000 havonta",[333],"3 nap naplóra, 30 nap metrikára; 3 prompt sablon; determinisztikus guardrailok; közösségi támogatás; a kérések a korlát után is folytatódnak",[335,337,339,341],[336],"Production",[338],"49 dollár havonta",[340],"100 000, utána 9 dollár minden további 100 000-re",[342],"30 nap naplóra, 90 nap metrikára; szerepkör-alapú hozzáférés, service account kulcsok, LLM- és partner guardrailok, szemantikus cache, termelési támogatás",[344,346,348,350],[345],"Enterprise",[347],"Megkérdezés alapján",[349],"10 millió vagy több",[351],"Egyedi megőrzés; privát felhő és VPC hosting, SSO, adat export, SOC 2 Type 2, GDPR és HIPAA, adatizoláció",{"type":232,"variant":233,"title":353,"body":354},"Az árlap és a cache-dokumentáció nem fér össze",[355],[356],"A csomag-összehasonlító táblázat az egyszerű és a szemantikus cache-t a 49 dolláros Production csomag alatt sorolja fel, míg a cache-dokumentáció szerint a szemantikus cache vektortárolót igényel, és csak kiválasztott Enterprise csomagokban érhető el. Érdemes tisztázni, mielőtt szemantikus cache-találati arányra építenél költségmodellt.",{"type":139,"content":358},[359],"Az Enterprise csomagban más termék lesz belőle: data plane a saját VPC-dben, Helm chartok Kubernetes 1.20 vagy újabb verzióval, példányonként egy-két mag és két-négy gigabyte memória, naplók S3-kompatibilis objektumtárban vagy MongoDB-ben, és egy control plane, amelyet az átjáró percenként egyszer szinkronizál, miközben hétnapos helyi cache-ben tartja a configokat és a kulcsokat. A dokumentáció volatile-lru kiszorítási stratégiát javasol, hogy az élő konfiguráció túlélje a memórianyomást. Ez egy üzemeltetendő rendszer, nem egy felejthető konténer.",{"type":146,"level":147,"id":129,"text":130},{"type":139,"content":362},[363],"Először az őszinte gyengeségek, mert ezek csapatok egész csoportjait kizárják. A menhelyezett átjáró egyetlen meghibadási pont és egyetlen bérlős határ az alkalmazás összes kérésére, és a státuszoldalon vannak is control plane incidensek, köztük 2026 augusztusában egy 40 perces és egy kétórás. A szemantikus cache enterprise tárgyalás mögött van, így azt a költségcsökkentő funkciót, amellyel az üzleti tervek érvelnek, nem is kapják meg. A guardrail modell csak az utolsó üzenetet olvassa, tehát nem promptinjekció-védelem egy multimodális beszélgetéshez. A config pedig egy SaaS dashboardon lakik, vagyis egy rendszer routing-politikája már nem abban a repositoryban review-elhető, amelyik a rendszert birtokolja.",{"type":271,"head":365,"rows":374},[366,368,370,372],[367],"Eszköz",[369],"Licenc és költség",[371],"Hol fut",[373],"Amit nem tud",[375,383,392,401],[376,377,379,381],[24],[378],"MIT átjáró, control plane 49 dollártól",[380],"Szolgáltatói felhő, vagy saját VPC az Enterprise-ben",[382],"Soha nem olvas képet; a szemantikus cache a menhelyezett csomagban csak Enterprise",[384,386,388,390],[385],"LiteLLM",[387],"MIT, saját üzemeltetés ingyenes, Enterprise kérésvolumenre árazva",[389],"Csak a saját infrastruktúrád",[391],"Nincs menhelyezett csomag, tehát nincs menhagyott dashboard, megosztott guardrail vagy hitelesítőtár",[393,395,397,399],[394],"OpenRouter",[396],"Fizetés tokenenként, 5,5 százalék platformdíj a kreditvásárláson",[398],"Az ő felhőjük",[400],"Nincs saját üzemeltetésű átjáró; a BYOK 25 000 dollár\u002Fhó listaárú inferekencia fölött indul",[402,404,406,408],[403],"Cloudflare AI Gateway",[405],"A alapfunkciók minden csomagban ingyenesek, a guardrailok Workers AI inferekenciaként számlázódnak",[407],"Cloudflare edge, nagy forgalomnál Workers fizetős csomag kell",[409],"A guardrail ellenőrzések Llama Guard 3 8B a Workers AI-on, saját logika nélkül",{"type":139,"content":411},[412],"A választás tehát kevésbé a funkciókról, mint a helyről szól: hol legyen a politika? Ha a routing szabályoknak a kód mellett, verziókövetésben kell lenniük, a LiteLLM nyer minden dimenzióban, a költséget is beleértve. Ha egy biztonsági csapatnak kell tudnia módosítania őket, ha a hitelesítő adatok soha nem kerülhetnek alkalmazáskörnyezetbe, vagy ha egy olyan szabályozott környezetben működsz, amely amúgy is a Palo Alto Networks-től vásárol, akkor a Portkey control plane az érv. A harmadik lehetőség, amit érdemes árszámolni, a Cloudflare AI Gateway: a alapfunkciók minden csomagban ingyenesek, és a költség inferekencia, nem platform, ami kis forgalomnál megfordítja a számítást.",{"type":146,"level":147,"id":132,"text":133},{"type":139,"content":415},[416],"A Portkey a legteljesebb menhelyezett LLM-átjáró, ami elérhető, és már önmagában a config objektum jobb tervezés, mint a kézzel írt megfelelőinek többsége: ágyazható stratégiák, zárt séma, kemény padló a circuit breaker cooldownján. Akkor érdemes, ha a routing politika kormányzási probléma, nem pedig programozási, és ilyenkor elfogadod a hálózati ugrást, és azt is, hogy a routing konfigurációd már nem a saját repositorydban lakik. A véleményes rész: ez nagyvállalatoknak a jó alapértelmezettje, kis csapatnak rossz, akiknek inkább az open source proxy ingyenes csomagja vagy a LiteLLM és egy hétvégi bekötés szolgál.",{"type":152,"ordered":418,"items":419},true,[420,422,424,426,428,430],[421],"Vedd a Portkey-t, ha több csapat osztozik a modell-hitelesítő adatokon, és valakinek központilag kell felelnie a keretekért, az allow listákért és a rate limitekért. Ez a termék valódi feladata.",[423],"Vedd, ha egy biztonsági csapatnak deploy nélkül kell tudnia módosítania a guardrailokat és megnéznie a teljes kérésnaplókat.",[425],"Ne vegyél késleltetésérzékeny completion vagy beszédútra, amíg nem mérted a saját forgalmodon az ugrást, mert a publikált többletidő kétjegyű ezredmásodperc, a marketing szám nem az.",[427],"Ne építs guardrailokra promptinjekció kontrollként multimodális forgalomhoz. Nem olvasnak képet, és csak az utolsó üzenetet.",[429],"Kerüld, ha a routing-politikát kódellenőrzésen kell átverni. Azt a configot a repositoryban kell tartani, és ehhez a LiteLLM vagy az open source átjáró a jobb eszköz.",[431],"Gondold át újra, amikor a control plane szűk keresztmetszetté válik: ekkora forgalomnál egy Cloudflare-on futó átjáró vagy egy saját VPC-beli proxy olcsóbb és egyszerűbb, mint az enterprise csomag.",{"type":232,"variant":433,"title":434,"body":435},"note","A szám, amit vásárlás előtt ellenőrizni kell",[436],[437],"Kérd a többletidőt a te régiód és a tényleg használt szolgáltatói régió között mérve, olyan kérésformával, amely illik a saját első token idődre. A Portkey saját repója pontosan erre publikál tesztkörnyezetet, és az jóval rosszabb számot ad, mint a főoldal.",{"type":146,"level":147,"id":135,"text":136},{"type":152,"ordered":418,"items":440},[441,446,450,454,458,462,466,470,474,478,482,486,490,494,497,501,505],[442],{"tag":443,"href":32,"children":444},"a",[445],"Portkey dokumentáció: AI Gateway",[447],{"tag":443,"href":35,"children":448},[449],"Portkey dokumentáció: első lépések az AI Gatewaayvel",[451],{"tag":443,"href":38,"children":452},[453],"Portkey dokumentáció: gateway config objektum",[455],{"tag":443,"href":41,"children":456},[457],"Portkey dokumentáció: guardrailok",[459],{"tag":443,"href":44,"children":460},[461],"Portkey dokumentáció: guardrail végpontok és képességek",[463],{"tag":443,"href":47,"children":464},[465],"Portkey dokumentáció: cache, egyszerű és szemantikus",[467],{"tag":443,"href":50,"children":468},[469],"Portkey dokumentáció: load balancing",[471],{"tag":443,"href":53,"children":472},[473],"Portkey dokumentáció: enterprise hibrid telepítés architektúrája",[475],{"tag":443,"href":56,"children":476},[477],"Portkey árazás",[479],{"tag":443,"href":59,"children":480},[481],"Portkey gateway a GitHubon, MIT-licencű",[483],{"tag":443,"href":62,"children":484},[485],"A Portkey saját benchmarkja: átjáró kontra közvetlen Bedrock",[487],{"tag":443,"href":65,"children":488},[489],"Portkey státuszoldal",[491],{"tag":443,"href":68,"children":492},[493],"A Palo Alto Networks lezárja a Portkey felvásárlását, 2026. május",[495],{"tag":443,"href":71,"children":496},[70],[498],{"tag":443,"href":74,"children":499},[500],"Cloudflare AI Gateway árazás",[502],{"tag":443,"href":77,"children":503},[504],"LiteLLM árazás",[506],{"tag":443,"href":80,"children":507},[508],"OpenRouter árazás",[510,558,620,662],{"slug":511,"published":512,"minutes":6,"category":7,"tags":513,"keywords":519,"about":526,"sources":530,"cover":549,"og":550,"expertise":83,"locales":551,"lang":87,"title":552,"description":553,"coverAlt":554,"url":555,"pricing":556,"kind":557},"ollama","2026-09-29",[514,515,516,517,518],"Local inference","Open models","llama.cpp","GGUF","Model serving",[511,520,521,522,523,524,525],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[527],{"name":528,"url":529},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[531,534,537,540,543,546],{"title":532,"url":533},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":535,"url":536},"Ollama on GitHub, with the MIT LICENSE file","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":538,"url":539},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":541,"url":542},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":544,"url":545},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":547,"url":548},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg",[85,86,87],"Ollama teszt: a barátságos út a nyílt modellekhez","Az Ollama egyetlen HTTP API-n szolgál ki nyílt modelleket saját hardveren. Ami jól megy, hol elmarad az átvitel, és mit nem fed le az MIT-licenc.","Absztrakt borítókép az Ollama teszthez","https:\u002F\u002Follama.com","MIT · free for personal use","Local inference runtime",{"slug":559,"published":560,"minutes":561,"category":7,"tags":562,"keywords":568,"about":576,"sources":588,"cover":613,"og":614,"expertise":83,"locales":615,"lang":87,"title":616,"description":617,"coverAlt":618,"url":579,"pricing":619,"kind":563},"langfuse","2026-08-13",10,[563,564,565,566,567],"LLM observability","Tracing","OpenTelemetry","Self-hosting","Evaluation",[559,569,570,571,572,573,574,575],"langfuse vs langsmith","llm tracing tool","self-hosted llm observability","langfuse pricing","opentelemetry llm traces","llm cost tracking","prompt versioning",[577,580,582,585],{"name":578,"url":579},"Langfuse","https:\u002F\u002Flangfuse.com",{"name":565,"url":581},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":583,"url":584},"ClickHouse","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FClickHouse",{"name":586,"url":587},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",[589,592,595,598,601,604,607,610],{"title":590,"url":591},"Langfuse documentation: observability and application tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Foverview",{"title":593,"url":594},"Langfuse documentation: get started with tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Fget-started",{"title":596,"url":597},"Langfuse pricing: cloud plans, billable units and worked examples","https:\u002F\u002Flangfuse.com\u002Fpricing",{"title":599,"url":600},"Langfuse pricing: self-hosted plans and the feature comparison","https:\u002F\u002Flangfuse.com\u002Fpricing-self-host",{"title":602,"url":603},"Self-host Langfuse: deployment options, containers and storage services","https:\u002F\u002Flangfuse.com\u002Fself-hosting",{"title":605,"url":606},"Langfuse changelog: v4 is live (17 August 2026)","https:\u002F\u002Flangfuse.com\u002Fchangelog\u002F2026-08-17-langfuse-v4",{"title":608,"url":609},"Langfuse blog: Langfuse joins ClickHouse (16 January 2026)","https:\u002F\u002Flangfuse.com\u002Fblog\u002Fjoining-clickhouse",{"title":611,"url":612},"GitHub: langfuse\u002Flangfuse, the platform repository","https:\u002F\u002Fgithub.com\u002Flangfuse\u002Flangfuse","\u002Fimages\u002Fblog\u002Flangfuse\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flangfuse\u002Fog.jpg",[85,86,87],"Langfuse bemutatás: nyomkövetés, promptok és értékelések saját szerveren","A Langfuse egy MIT-licencelt platformra teszi az LLM-nyomokat, a promptverziókat és a kísérleteket. Mibe kerül a saját telepítés, hogy számol a Usage-alapú ár, és hol veszít.","Egy pipeline a kötegelt alkalmazás-eseménytől a Langfuse web konténeren és az objektumtáron át a ClickHouseig, mellette a Redis és a PostgreSQL.","MIT · paid from $59 per month",{"slug":621,"published":622,"minutes":561,"category":7,"tags":623,"keywords":628,"about":635,"sources":638,"cover":654,"og":655,"expertise":83,"locales":656,"lang":87,"title":657,"description":658,"coverAlt":659,"url":660,"pricing":661,"kind":9},"openrouter","2026-07-23",[9,624,625,626,627],"Model routing","Fallbacks","OpenAI-compatible","Pay per token",[621,629,17,630,631,632,633,634],"openrouter vs litellm","openrouter pricing","openai compatible api gateway","llm fallback routing","multi model api gateway","byok llm routing",[636],{"name":394,"url":637},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenRouter",[639,642,643,646,649,652],{"title":640,"url":641},"OpenRouter documentation: quickstart","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fquickstart",{"title":79,"url":80},{"title":644,"url":645},"OpenRouter documentation: model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":647,"url":648},"OpenRouter documentation: provider routing","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fprovider-selection",{"title":650,"url":651},"OpenRouter documentation index","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fllms.txt",{"title":653,"url":637},"Wikipedia: OpenRouter","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fog.jpg",[85,86,87],"OpenRouter: egy API-kulcs a katalógus minden modellje előtt","OpenRouter egyetlen OpenAI-kompatibilis végpont mögé tereli a 80+ szolgáltató 500+ modelljét, fallbackkel és listaáron. Mennyibe kerül, és hol törik el.","Kérési útvonal az OpenRouteren át: kliens, router, lehetséges szolgáltatók, fallback lista és a végül válaszoló modell.","https:\u002F\u002Fopenrouter.ai","Pay per token, no subscription",{"slug":663,"published":664,"minutes":561,"category":7,"tags":665,"keywords":669,"about":676,"sources":684,"cover":708,"og":709,"expertise":83,"locales":710,"lang":87,"title":711,"description":712,"coverAlt":713,"url":679,"pricing":714,"kind":715},"braintrust","2026-07-07",[666,12,667,668,564],"Evaluations","LLM-as-a-judge","CI gates",[663,670,671,672,673,674,675],"braintrust pricing","braintrust eval","autoevals library","braintrust vs langfuse","llm evaluation platform","eval driven development",[677,680,683],{"name":678,"url":679},"Braintrust","https:\u002F\u002Fwww.braintrust.dev",{"name":681,"url":682},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",{"name":586,"url":587},[685,688,691,694,697,700,703,705],{"title":686,"url":687},"Braintrust pricing: plans, credits and usage rates","https:\u002F\u002Fwww.braintrust.dev\u002Fpricing",{"title":689,"url":690},"Braintrust documentation: plans and limits","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs\u002Fplans-and-limits",{"title":692,"url":693},"Braintrust documentation: evaluation quickstart","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs\u002Fevaluation-quickstart",{"title":695,"url":696},"Braintrust documentation: get started","https:\u002F\u002Fwww.braintrust.dev\u002Fdocs",{"title":698,"url":699},"GitHub: Braintrust organisation repositories","https:\u002F\u002Fgithub.com\u002Forgs\u002Fbraintrustdata\u002Frepositories",{"title":701,"url":702},"Arize Phoenix documentation: self-hosting","https:\u002F\u002Farize.com\u002Fdocs\u002Fphoenix\u002Fself-hosting",{"title":704,"url":597},"Langfuse pricing: cloud plans and billable units",{"title":706,"url":707},"LangChain pricing: LangSmith plans","https:\u002F\u002Fwww.langchain.com\u002Fpricing","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fbraintrust\u002Fog.jpg",[85,86,87],"Braintrust teszt: eval-first observability kemény mérőórával","A Braintrust a termelési trace-ekből datasetet és gate-elt kísérleteket csinál. Mit ad a Starter és a Pro, mi a nyílt forrás, és hol erősebb a Phoenix, a Langfuse és a LangSmith.","Hurok az instrumentált alkalmazási logoktól egy dataseten át a scorerokkal futó kísérletig, majd az összehasonlításig, amely blokkolja a pull requestet, mielőtt a változás visszakerül az alkalmazásba.","Free · from $249 per month","Evaluation platform",1791383550013]