[{"data":1,"prerenderedAt":746},["ShallowReactive",2],{"blog-portkey-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":29,"cover":81,"og":82,"expertise":83,"locales":84,"lang":87,"title":88,"description":89,"coverAlt":90,"metaTitle":91,"takeaways":92,"faq":98,"toc":111,"blocks":136,"others":504},"portkey","2026-09-28",11,"llmops",[9,10,11,12,13],"LLM gateway","Guardrails","Routing","Observability","Cost control",[15,16,17,18,19,20,21],"portkey ai gateway","portkey vs litellm","llm gateway comparison","llm gateway latency overhead","llm guardrails gateway","self-hosted llm gateway","portkey pricing",[23,26],{"name":24,"url":25},"Portkey","https:\u002F\u002Fportkey.ai",{"name":27,"url":28},"API gateway","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FAPI_gateway",[30,33,36,39,42,45,48,51,54,57,60,63,66,69,72,75,78],{"title":31,"url":32},"Portkey docs: AI Gateway","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway",{"title":34,"url":35},"Portkey docs: Getting started with the AI Gateway","https:\u002F\u002Fdocs.portkey.ai\u002Fdocs\u002Fguides\u002Fgetting-started\u002Fgetting-started-with-ai-gateway",{"title":37,"url":38},"Portkey docs: Gateway config object","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fapi-reference\u002Fconfig-object",{"title":40,"url":41},"Portkey docs: Guardrails","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails",{"title":43,"url":44},"Portkey docs: Guardrail endpoints and capabilities","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails\u002Fcapabilities",{"title":46,"url":47},"Portkey docs: Cache, simple and semantic","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fcache-simple-and-semantic",{"title":49,"url":50},"Portkey docs: Load balancing","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fload-balancing",{"title":52,"url":53},"Portkey docs: Enterprise hybrid deployment architecture","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fself-hosting\u002Fhybrid-deployments\u002Farchitecture",{"title":55,"url":56},"Portkey pricing","https:\u002F\u002Fportkey.ai\u002Fpricing",{"title":58,"url":59},"Portkey gateway on GitHub, MIT licensed","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway",{"title":61,"url":62},"Portkey's own benchmark: gateway versus direct Bedrock","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fbenchmark-test",{"title":64,"url":65},"Portkey status page","https:\u002F\u002Fstatus.portkey.ai\u002F",{"title":67,"url":68},"Palo Alto Networks completes acquisition of Portkey, May 2026","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fcompany\u002Fpress\u002F2026\u002Fpalo-alto-networks-completes-acquisition-of-portkey-to-secure-ai-agents",{"title":70,"url":71},"Palo Alto Networks: Prisma AIRS AI Gateway","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fai-security\u002Fai-gateway",{"title":73,"url":74},"Cloudflare AI Gateway pricing","https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-gateway\u002Freference\u002Fpricing\u002F",{"title":76,"url":77},"LiteLLM pricing","https:\u002F\u002Fwww.litellm.ai\u002Fpricing",{"title":79,"url":80},"OpenRouter pricing","https:\u002F\u002Fopenrouter.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Fportkey\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fportkey\u002Fog.jpg","ai-engineer",[85,86,87],"en","de","hu","Portkey: éles LLM-átjáró, routing, guardrailok és költség szerint","A Portkey egy OpenAI-kompatibilis végpont mögé szorítja a retry-t, a fallbacket, a cache-t, a guardrailokat és a költségkövetést. Ami jól működik, és mi az ára késleltetésben.","Vastag függőleges lap, benne sávok és pajzs, egy nyíl be, három ki.","Portkey: routing, guardrailok és késleltetés · Csorba Balázs",[93,94,95,96,97],"A Portkey routing-konfigurációja a termék legerősebb része: zárt séma, négy egymásba ágyazható stratégiamód, 100-ra normalizált súlyok, és olyan circuit breaker, amelynek cooldownja nem állítható 30 másodperc alá.","A menhelyezett átjáró egy hálózati ugrás. A Portkey saját benchmark-repójában a mért érték átlagosan plusz 93 ms a közvetlen Bedrock-híváshoz képest, és 50–150 ms-ot nevez tipikusnak a két további ugrásra.","A guardrailok mindig csak az utolsó üzenetet olvassák, képet soha; a szinkron letiltás 446-ot ad vissza, olyan státuszkódot, amelyet a legtöbb SDK újrapróbálkozásra utónak tekint.","A számlázás rögzített naplókon alapul, nem kéréseken, és az ár-oldal és a cache-dokumentáció nem ért egyet abban, hogy a 49 dolláros Production csomag tartalmazza-e a szemantikus cache-t.","A 2026. májusi felvásárlás óta a Prisma AIRS részeként szállítják, ami a szerződő felet változtatja meg, az API-t nem.",[99,102,105,108],{"q":100,"a":101},"Mi a Portkey, és mit csinál valójában egy LLM-átjáró?","Az LLM-átjáró proxy, amely a kliens és a hívott modellszolgáltatók közé kerül. A Portkey átjárója a szolgáltatói kulcsokat, retry-ket, fallbackeket, súlyozott routingot, cache-t, guardrailokat és költség-hozzárendelést JSON-konfigurációba szervezi, ami a kéréshez csatolódik. Így az OpenAI-kompatibilis kliens változatlanul működik, miközben a routing-politika a dashboardon, nem pedig egy deployban változik.",{"q":103,"a":104},"Ad-e késleltetést a Portkey a modellhívásokhoz?","A menhelyezett változat igen. A Portkey saját benchmark-repója átlagosan plusz 93 ms-t, mediánban plusz 25 ms-t mér a felhős átjáró és a közvetlen Bedrock-hívás között, a README pedig 50–150 ms-ot nevez tipikusnak a két további ugrásra. Saját üzemeltetésnél más a szám: az átjáró repója 1 ms alatti feldolgozási időt említ.",{"q":106,"a":107},"Nyílt forrású-e a Portkey?","Az átjáró MIT-licencű, és egyetlen npm paranccsal indul el; a kiadott csomag jelenleg az 1.15.2-es verziónál tart, egy 2.0 előkiadási ág készül. A control plane, a dashboard, a Model Catalog és az enterprise telepítési lehetőségek kereskedelmi termékek. Az átjáró saját futtatása nem adja meg a menhelyezett terméket.",{"q":109,"a":110},"Portkey vagy LiteLLM?","A LiteLLM MIT-licencű, menhelyezett szint nélkül, ezért nyer a költségen és az adatokon is, ahol a hálózaton belül maradnak; a dashboardokat magad építed. A Portkey akkor nyer, ha a routing-politika, a guardrailok és a tárolt hitelesítő adatok egy másval által üzemeltetett termékben akarnak élni, és elfogadod a havi 49 dollárt 100 ezer naplóért, plusz 9 dollárt minden további 100 ezerért.",[112,115,118,121,124,127,130,133],{"id":113,"title":114},"what-it-is","Mi ez valójában",{"id":116,"title":117},"how-it-works","Hogyan működik",{"id":119,"title":120},"getting-started","Első lépések",{"id":122,"title":123},"guardrails","Guardrailok",{"id":125,"title":126},"pricing-and-latency","Ár és késleltetés",{"id":128,"title":129},"where-it-shingles","Hol nem passzol",{"id":131,"title":132},"verdict","Ítélet",{"id":134,"title":135},"sources","Források",[137,141,144,147,150,189,190,193,199,202,205,207,214,215,218,220,227,234,235,238,256,262,263,266,304,307,310,348,353,356,357,360,406,409,410,413,427,433,434],{"type":138,"content":139},"paragraph",[140],"A Portkey LLM-átjáró: proxy, amely a kliens és a hívott modellszolgáltatók közé kerül, és a szolgáltatói kulcsokat, retry-ket, fallbackeket, cache-t, guardrailokat és költség-hozzárendelést konfigurációs objektumokba szervezi alkalmazáskód helyett. A piacon elérhető átjárók közül ez az egyik legteljesebb, és mióta a Palo Alto Networks 2026 májusában lezárta a Portkey felvásárlását, a Prisma AIRS részeként is szállítják. Az álláspont: a routing réteg a legerősebb a maga kategóriájában, és megéri az operatív függést, a menhelyezett üzemeltetésnél és a guardrail-szemantikánál viszont ott vannak a buktatók.",{"type":138,"content":142},[143],"Amit lecserél, az a saját kezű retry-wrapper, amelyet minden csapat megír az LLM-termék első hónapjában: általában egy try blokk egy sleeppel, egy beégetett szolgáltatói kulccsal, és nulla nyilvántartással arról, mi került ki. A Portkey ezt egyetlen OpenAI-kompatibilis alap-URL mögé teszi, így az OpenAI SDK, az Anthropic SDK, a LangChain vagy egy nyers fetch ugyanazt a végpontot szólaltatja meg. Versenytársai a LiteLLM, amely ingyenes és saját kézben fut, az OpenRouter, amely fizetős piactér vezérlő sík helyett, és a Cloudflare AI Gateway, amely majdnem ingyenes, mert olyan infrastruktúrán fut, amért az amúgy is fizetnek.",{"type":145,"level":146,"id":113,"text":114},"heading",2,{"type":138,"content":148},[149],"A Portkey valójában két termék egy repositoryban. Az átjáró maga MIT-licencű Node proxy, amely egyetlen parancsból indul, a 8787-es porton szolgál helyi konzolal; a körülötte lévő control plane fizetős szolgáltatás, amely a hitelesítő adatokat tárolja, a konfigurációs felületet hosztolja és a naplókat tartja. Ez a split magyaráz szinte mindent. Amit a proxy csinál, az jól dokumentált és ingyenes, és amit a control plane csinál, ott lakik az ár, a guardrail-katalógus és a megfelelési történet.",{"type":151,"ordered":152,"items":153},"list",false,[154,169,171,177,183,185,187],[155,156,160,161,164,165,168],"Egyetlen parancsból indul, ",{"tag":157,"children":158},"code",[159],"npx @portkey-ai\u002Fgateway",", a ",{"tag":157,"children":162},[163],"localhost:8787"," címen szolgál, konzolja a ",{"tag":157,"children":166},[167],"\u002Fpublic\u002F"," útvonalon.",[170],"MIT-licencű, körülbelül 13 100 GitHub-csillaggal és 1 300 forkkal; a kiadott npm csomag az 1.15.2-es verziónál tart, egy 2.0 előkiadási ágon dolgoznak.",[172,173,176],"Egy OpenAI-kompatibilis végpont, plusz az Anthropic ",{"tag":157,"children":174},[175],"\u002Fv1\u002Fmessages"," és az Open Responses formátum. Csak a modell-string változik, ha a szolgáltató.",[178,179,182],"A modell-string hordozza a szolgáltatót: az ",{"tag":157,"children":180},[181],"@openai-prod\u002Fgpt-4o"," egy tárolt integrációra oldódik fel, a költségkeretével és a rate limitjével együtt.",[184],"A stratégiaobjektumok ágyazhatók egymásba. Egy fallback tartalmazhat load balancert, amely egy újabb fallbackt tartalmaz, mindegyik saját súlyokkal, státuszkód-kiváltókkal és circuit breakerrel.",[186],"A guardrailok bemenetet és kimenetet is értékelnek, aszinkron, további késleltetés nélkül, vagy szinkron, dokumentált 246-os és 446-os deny kódokkal.",[188],"2026 májusa óta a Palo Alto Networks tulajdona, Prisma AIRS AI Gateway néven értékesítve, 2026. július 16-tól általánosan elérhető.",{"type":145,"level":146,"id":116,"text":117},{"type":138,"content":191},[192],"A kérés Portkey API-kulccsal és általában egy config-csal érkezik. A config megnevez egy stratégiát és egy cél-listát. Az átjáró minden célt felold egy tárolt szolgáltatói integrációra, a config szerint cache-el és guardrailoz, továbbítja a kiválasztott szolgáltatónak, majd naplósort ír a késleltetésről, a tokenekről és a költségről. A különbség a kézzel írt proxyhoz képest nem a továbbításban van, hanem abban, hogy a döntés adat: ugyanaz a JSON fut változatlanul a menhelyezett termékben, az open source proxyban és a saját VPC-ben futó data plane-ben.",{"type":194,"src":195,"alt":196,"wide":197,"caption":198},"image","\u002Fimages\u002Fblog\u002Fportkey\u002Fdiagram-7.webp","Egy kérés a Portkey átjárón keresztül Az alkalmazás OpenAI-kompatibilis kérést küld a Portkey átjárónak. Az átjáró alkalmazza a csatolt configot, majd retry, fallback és súlyozott routing segítségével szétosztja a kérést három szolgáltató egyikére. A guardrail-ítéletet szinkron ellenőrzi, és 246-ot vagy 446-ot ad vissza. Minden hívás naplósort ír a késleltetésről, a tokenekről és a költségről.",true,"Egy kérés az átjárón: a config dönt a célról, a szinkron guardrail 246-tal vagy 446-tal utasíthatja el, és minden hívás naplózódik a késleltetésével, tokenjeivel és költségével.",{"type":138,"content":200},[201],"Az érdekes ág a guardrail. Aszinkron futtatásnál, ami az alapértelmezés, az ellenőrzés párhuzamosan zajlik a modellhívással, az eredményt csak naplózzák, és a szolgáltató saját státuszkódja változatlanul visszatér. Szinkron futtatásnál az ellenőrzés blokkol: siker esetén 200, hiba esetén 246, ha a deny ki van kapcsolva, és 446, ha be. Mindkét kód azon a tartományon kívül esik, amelyre bármelyik klienskönyvtárat írták. Az a könyvtár, amely 200-tól eltérő státuszt sikernek tekint, csendben elfogad egy 246-ot, aminek meg kellett volna jelöltnek lennie; az, amely a 2xx-en kívülit kivételnek veszi, 446-nál dob, és úgy próbálja újra, mintha a hálózat hibázott volna. Ez a termék legélesebb éle.",{"type":138,"content":203},[204],"A másik fel a config objektum. A sémája zárt, négy固定的 stratégiamóddal, single, loadbalance, fallback és conditional, és rögzített kulcslistával, így egy elírás elutasításra kerül, nem pedig csendesen figyelmen kívül marad. A célok maguk is configok, és éppen ettől összeépíthetők a stratégiák.",{"type":157,"code":206},"{\n  \"strategy\": { \"mode\": \"fallback\", \"on_status_codes\": [429, 500, 503] },\n  \"retry\": { \"attempts\": 3, \"use_retry_after_headers\": true },\n  \"cb_config\": { \"failure_threshold\": 5, \"cooldown_interval\": 60000 },\n  \"targets\": [\n    { \"provider\": \"@openai-prod\",\n      \"override_params\": { \"model\": \"gpt-4o\" } },\n    { \"strategy\": { \"mode\": \"loadbalance\" },\n      \"targets\": [\n        { \"provider\": \"@anthropic-prod\", \"weight\": 0.8,\n          \"override_params\": { \"model\": \"claude-sonnet-4-5-20250929\" } },\n        { \"provider\": \"@bedrock-prod\", \"weight\": 0.2,\n          \"override_params\": { \"model\": \"anthropic.claude-3-5-sonnet-20241022-v2:0\" } }\n      ] }\n  ]\n}",{"type":138,"content":208},[209,210,213],"Három részlet megérdemli a saját figyelmet. A súlyok 100-ra normalizálódnak, és a nulla súly úgy tartja a célt a configban, hogy nem küld rá forgalmat, így a canary állítható le Rather than törölhető. A circuit breaker ",{"tag":157,"children":211},[212],"cooldown_interval"," értékének 30 000 milliszekundum a padlója, így a gyors flikkeringést védő hurok nem konfigurálható szűk retry-viharba. A sticky routing a megnevezett mezők hashét számolja egyórás alapértelmezett TTL-lel, de kétlépcsős cache-re épül, memória és Redis formájában, így Redis nélkül csak egy példányon működik.",{"type":145,"level":146,"id":119,"text":120},{"type":138,"content":216},[217],"Telepítsd az SDK-t, vegyél fel egy szolgáltatót a Model Catalogban, és módosíts egy stringet. A Portkey SDK az OpenAI kliens szuperhalmaza, így egy meglévő integrációnak rendszerint semmi másra nincs szüksége, mint az alap-URL és a kulcs cseréjére.",{"type":157,"code":219},"from portkey_ai import Portkey\n\nclient = Portkey(api_key=\"PORTKEY_API_KEY\")\n\nanswer = client.chat.completions.create(\n    model=\"@openai-prod\u002Fgpt-4o\",              # @provider-slug\u002Fmodel-name\n    messages=[{\"role\": \"user\", \"content\": \"Summarise this ticket in one line.\"}],\n)\nprint(answer.choices[0].message.content)\n\n# Same code, different model: only the string changes\nanswer = client.chat.completions.create(\n    model=\"@anthropic-prod\u002Fclaude-sonnet-4-5-20250929\",\n    max_tokens=512,\n    messages=[{\"role\": \"user\", \"content\": \"Summarise this ticket in one line.\"}],\n)\nprint(answer.choices[0].message.content)",{"type":138,"content":221},[222,223,226],"Két dolog számít, mielőtt ez élesbe kerül. A szolgáltatói slug szerveroldalon oldódik fel a Model Catalogból, nem a kérésben lévő literálból, így a rossz modell-string kérésidőben, nem deployidőben hibázik. A retry-t, cache-t és guardrailokat hordozó config pedig nincs a snippetben: vagy config ID-ként csatolódik a klienshez, vagy JSON-blobként a ",{"tag":157,"children":224},[225],"x-portkey-config"," fejlécben, és éppen ez teszi lehetővé a routing-politika módosítását deploy nélkül.",{"type":228,"variant":229,"title":230,"body":231},"callout","warn","A config módosítása termelési módosítás",[232],[233],"A dashboardon szerkesztett config pull request nélküli termelési viselkedés. Verzionizáld a JSON-t, diffeld minden módosítás előtt, és tarts meg egy működő példányt, mert a hibás fallback-lánc attól függően, melyik mező rossz, nyíltan vagy zártan esik ki.",{"type":145,"level":146,"id":122,"text":123},{"type":138,"content":236},[237],"A guardrailok olyan ellenőrzések, amelyek a kéréshez csatakoznak, és a bemenetre, a kimenetre vagy mindkettőre értékelődnek. Ők a Portkey leginkább félrekonfigurálható része, részben azért, mert a funkciólista szélesebbnek hangzik, mint a tényleges viselkedés. A dokumentáció szokatlanul nyíltan beszél a korlátokról, ami legalább megkönnyíti a megtalálásukat.",{"type":151,"ordered":152,"items":239},[240,242,244,246,252,254],[241],"A kérésben csak az utolsó üzenet értékelődik, és annak is csak a szöveges része. A képi bemeneteket, base64-et vagy URL-t, egyáltalán nem ellenőrzi.",[243],"A guardrailok nem futnak az Assistants, Audio, Images, Files, Batch, Fine-tuning, Moderations és Models végpontokon. Futnak a chat completions, completions, embeddings (csak bemenet) végpontokon, a messages, responses és prompt completions felületen.",[245],"A streamelt válaszon futó kimeneti guardrailok tájékoztató jellegűek: az eredmény a done mark utáni utolsó chunkban érkezik, és nem indít fallbacket vagy retry-t.",[247,248,251],"Ahhoz, hogy egyáltalán lássad a hook eredményeket egy streamben, a szigorú OpenAI-kompatibilitást ki kell kapcsolni a ",{"tag":157,"children":249},[250],"x-portkey-strict-open-ai-compliance"," fejléccel, mert alapértelmezés szerint levágja őket.",[253],"A szintek a csomagot követik: alap ellenőrzések a Developer csomagban, alap, partner és pro ellenőrzések a Productionben, minden, sajátot is beleértve, az Enterprise-ben. A legtöbb ellenőrzés determinisztikus, regex, JSON séma, szó- és karakterdarabszámlálás, ezek fölött LLM-alapú ellenőrzések, például promptinjekciós vizsgálat.",[255],"Partner guardrailok léteznek, köztük az Aporia, a Pillar Security, a SydeLabs, a Zscaler AI Guard és az Akto, mind HTTP-n hívva, saját timeouttal: 10 000 ms a Zscalernél, 5 000 ms az Aktónál.",{"type":138,"content":257},[258,259,261],"Az Anthropic útvonalon még egy akadály van. A ",{"tag":157,"children":260},[175]," felületen a hook eredmények külön eseményként érkeznek, amelyet az Anthropic SDK nem parse-ol, így azok olvasásához vissza kell esni cURL-re. Épp ilyen kis inkonzisztenciák döntik el, hogy egy funkciót használnak-e vagy csendben figyelmen kívül hagyják, és érdemes ezt a saját SDK-d ellen ellenőrizni, mielőtt guardrail-alapú kontrollra építesz.",{"type":145,"level":146,"id":125,"text":126},{"type":138,"content":264},[265],"A késleltetésnél a marketing és a mérés szétválik. Három szám létezik ugyanarra a termékre, és nem ugyanazt írják le. Ezért az alábbi táblázat minden számnál megnevezi a forrását, ahelyett hogy a leghízelesebbet választaná.",{"type":267,"head":268,"rows":275},"table",[269,271,273],[270],"Szám",[272],"Forrás",[274],"Mit mér",[276,283,290,297],[277,279,281],[278],"1 ms alatt",[280],"Az átjáró repository README-je",[282],"A saját üzemeltetésű proxy saját feldolgozási ideje, nem a menhelyezett oda-visszaút",[284,286,288],[285],"10 ms alatt, 99,9999%-os rendelkezésre állással",[287],"Anbiateri blog, 2025 október",[289],"Egy hosztolási állítás havi 10 milliárd kérésre, publikált módszertan nélkül",[291,293,295],[292],"Átlagosan plusz 93 ms, mediánban plusz 25 ms",[294],"A Portkey saját benchmark-repója",[296],"A felhős átjáró egy közvetlen Bedrock-híváshoz képest, két worker, iterációnként három kérés",[298,300,302],[299],"Tipikusan 50–150 ms",[301],"Ugyanaz a repó, overhead szakasz",[303],"Amit a gyártó maga a két további hálózati ugrás oda-vissza költségének nevez",{"type":138,"content":305},[306],"Az őszinte olvasat az, hogy a két szám két különböző terméket ír le. Az 1 ms alatti érték az open source proxy feldolgozási ideje, ez tényleg jó, és ez a fő érv a saját üzemeltetés mellett. A 10 ms alatti állítás hosztolási állítás módszertan nélkül. A plusz 93 ms az egyetlen, amely mellett futtatható tesztkörnyezet is van, és ugyanaz a repó 50–150 ms-ot nevez tipikusnak. Egy 400 ms-os első token idő mellett ez láthatatlan; egy 90 ms-os autocomplete vagy beszédúton az egész keretet viszi el. Tehát mérd a saját forgalmadon, ne az árajelzőlapról vedd át.",{"type":138,"content":308},[309],"Az árnál: a számlázás rögzített naplókon alapul, nem kéréseken. Ez szokatlalan és általában ártalmatlan, mert az ingyenes csomag a naplókorlát után is kiszolgál, csak már nem naplóz. A fizetős csomagoknál lesz fontos, mert a túlfogyás ára 100 ezer kérésenként rakódik a naplókeretre.",{"type":267,"head":311,"rows":320},[312,314,316,318],[313],"Csomag",[315],"Ár",[317],"Rögzített naplók",[319],"Megőrzés és tartalom",[321,330,339],[322,324,326,328],[323],"Developer",[325],"Ingyenes",[327],"10 000 havonta",[329],"3 nap naplóra, 30 nap metrikára; 3 prompt sablon; determinisztikus guardrailok; közösségi támogatás; a kérések a korlát után is folytatódnak",[331,333,335,337],[332],"Production",[334],"49 dollár havonta",[336],"100 000, utána 9 dollár minden további 100 000-re",[338],"30 nap naplóra, 90 nap metrikára; szerepkör-alapú hozzáférés, service account kulcsok, LLM- és partner guardrailok, szemantikus cache, termelési támogatás",[340,342,344,346],[341],"Enterprise",[343],"Megkérdezés alapján",[345],"10 millió vagy több",[347],"Egyedi megőrzés; privát felhő és VPC hosting, SSO, adat export, SOC 2 Type 2, GDPR és HIPAA, adatizoláció",{"type":228,"variant":229,"title":349,"body":350},"Az árlap és a cache-dokumentáció nem fér össze",[351],[352],"A csomag-összehasonlító táblázat az egyszerű és a szemantikus cache-t a 49 dolláros Production csomag alatt sorolja fel, míg a cache-dokumentáció szerint a szemantikus cache vektortárolót igényel, és csak kiválasztott Enterprise csomagokban érhető el. Érdemes tisztázni, mielőtt szemantikus cache-találati arányra építenél költségmodellt.",{"type":138,"content":354},[355],"Az Enterprise csomagban más termék lesz belőle: data plane a saját VPC-dben, Helm chartok Kubernetes 1.20 vagy újabb verzióval, példányonként egy-két mag és két-négy gigabyte memória, naplók S3-kompatibilis objektumtárban vagy MongoDB-ben, és egy control plane, amelyet az átjáró percenként egyszer szinkronizál, miközben hétnapos helyi cache-ben tartja a configokat és a kulcsokat. A dokumentáció volatile-lru kiszorítási stratégiát javasol, hogy az élő konfiguráció túlélje a memórianyomást. Ez egy üzemeltetendő rendszer, nem egy felejthető konténer.",{"type":145,"level":146,"id":128,"text":129},{"type":138,"content":358},[359],"Először az őszinte gyengeségek, mert ezek csapatok egész csoportjait kizárják. A menhelyezett átjáró egyetlen meghibadási pont és egyetlen bérlős határ az alkalmazás összes kérésére, és a státuszoldalon vannak is control plane incidensek, köztük 2026 augusztusában egy 40 perces és egy kétórás. A szemantikus cache enterprise tárgyalás mögött van, így azt a költségcsökkentő funkciót, amellyel az üzleti tervek érvelnek, nem is kapják meg. A guardrail modell csak az utolsó üzenetet olvassa, tehát nem promptinjekció-védelem egy multimodális beszélgetéshez. A config pedig egy SaaS dashboardon lakik, vagyis egy rendszer routing-politikája már nem abban a repositoryban review-elhető, amelyik a rendszert birtokolja.",{"type":267,"head":361,"rows":370},[362,364,366,368],[363],"Eszköz",[365],"Licenc és költség",[367],"Hol fut",[369],"Amit nem tud",[371,379,388,397],[372,373,375,377],[24],[374],"MIT átjáró, control plane 49 dollártól",[376],"Szolgáltatói felhő, vagy saját VPC az Enterprise-ben",[378],"Soha nem olvas képet; a szemantikus cache a menhelyezett csomagban csak Enterprise",[380,382,384,386],[381],"LiteLLM",[383],"MIT, saját üzemeltetés ingyenes, Enterprise kérésvolumenre árazva",[385],"Csak a saját infrastruktúrád",[387],"Nincs menhelyezett csomag, tehát nincs menhagyott dashboard, megosztott guardrail vagy hitelesítőtár",[389,391,393,395],[390],"OpenRouter",[392],"Fizetés tokenenként, 5,5 százalék platformdíj a kreditvásárláson",[394],"Az ő felhőjük",[396],"Nincs saját üzemeltetésű átjáró; a BYOK 25 000 dollár\u002Fhó listaárú inferekencia fölött indul",[398,400,402,404],[399],"Cloudflare AI Gateway",[401],"A alapfunkciók minden csomagban ingyenesek, a guardrailok Workers AI inferekenciaként számlázódnak",[403],"Cloudflare edge, nagy forgalomnál Workers fizetős csomag kell",[405],"A guardrail ellenőrzések Llama Guard 3 8B a Workers AI-on, saját logika nélkül",{"type":138,"content":407},[408],"A választás tehát kevésbé a funkciókról, mint a helyről szól: hol legyen a politika? Ha a routing szabályoknak a kód mellett, verziókövetésben kell lenniük, a LiteLLM nyer minden dimenzióban, a költséget is beleértve. Ha egy biztonsági csapatnak kell tudnia módosítania őket, ha a hitelesítő adatok soha nem kerülhetnek alkalmazáskörnyezetbe, vagy ha egy olyan szabályozott környezetben működsz, amely amúgy is a Palo Alto Networks-től vásárol, akkor a Portkey control plane az érv. A harmadik lehetőség, amit érdemes árszámolni, a Cloudflare AI Gateway: a alapfunkciók minden csomagban ingyenesek, és a költség inferekencia, nem platform, ami kis forgalomnál megfordítja a számítást.",{"type":145,"level":146,"id":131,"text":132},{"type":138,"content":411},[412],"A Portkey a legteljesebb menhelyezett LLM-átjáró, ami elérhető, és már önmagában a config objektum jobb tervezés, mint a kézzel írt megfelelőinek többsége: ágyazható stratégiák, zárt séma, kemény padló a circuit breaker cooldownján. Akkor érdemes, ha a routing politika kormányzási probléma, nem pedig programozási, és ilyenkor elfogadod a hálózati ugrást, és azt is, hogy a routing konfigurációd már nem a saját repositorydban lakik. A véleményes rész: ez nagyvállalatoknak a jó alapértelmezettje, kis csapatnak rossz, akiknek inkább az open source proxy ingyenes csomagja vagy a LiteLLM és egy hétvégi bekötés szolgál.",{"type":151,"ordered":197,"items":414},[415,417,419,421,423,425],[416],"Vedd a Portkey-t, ha több csapat osztozik a modell-hitelesítő adatokon, és valakinek központilag kell felelnie a keretekért, az allow listákért és a rate limitekért. Ez a termék valódi feladata.",[418],"Vedd, ha egy biztonsági csapatnak deploy nélkül kell tudnia módosítania a guardrailokat és megnéznie a teljes kérésnaplókat.",[420],"Ne vegyél késleltetésérzékeny completion vagy beszédútra, amíg nem mérted a saját forgalmodon az ugrást, mert a publikált többletidő kétjegyű ezredmásodperc, a marketing szám nem az.",[422],"Ne építs guardrailokra promptinjekció kontrollként multimodális forgalomhoz. Nem olvasnak képet, és csak az utolsó üzenetet.",[424],"Kerüld, ha a routing-politikát kódellenőrzésen kell átverni. Azt a configot a repositoryban kell tartani, és ehhez a LiteLLM vagy az open source átjáró a jobb eszköz.",[426],"Gondold át újra, amikor a control plane szűk keresztmetszetté válik: ekkora forgalomnál egy Cloudflare-on futó átjáró vagy egy saját VPC-beli proxy olcsóbb és egyszerűbb, mint az enterprise csomag.",{"type":228,"variant":428,"title":429,"body":430},"note","A szám, amit vásárlás előtt ellenőrizni kell",[431],[432],"Kérd a többletidőt a te régiód és a tényleg használt szolgáltatói régió között mérve, olyan kérésformával, amely illik a saját első token idődre. A Portkey saját repója pontosan erre publikál tesztkörnyezetet, és az jóval rosszabb számot ad, mint a főoldal.",{"type":145,"level":146,"id":134,"text":135},{"type":151,"ordered":197,"items":435},[436,441,445,449,453,457,461,465,469,473,477,481,485,489,492,496,500],[437],{"tag":438,"href":32,"children":439},"a",[440],"Portkey dokumentáció: AI Gateway",[442],{"tag":438,"href":35,"children":443},[444],"Portkey dokumentáció: első lépések az AI Gatewaayvel",[446],{"tag":438,"href":38,"children":447},[448],"Portkey dokumentáció: gateway config objektum",[450],{"tag":438,"href":41,"children":451},[452],"Portkey dokumentáció: guardrailok",[454],{"tag":438,"href":44,"children":455},[456],"Portkey dokumentáció: guardrail végpontok és képességek",[458],{"tag":438,"href":47,"children":459},[460],"Portkey dokumentáció: cache, egyszerű és szemantikus",[462],{"tag":438,"href":50,"children":463},[464],"Portkey dokumentáció: load balancing",[466],{"tag":438,"href":53,"children":467},[468],"Portkey dokumentáció: enterprise hibrid telepítés architektúrája",[470],{"tag":438,"href":56,"children":471},[472],"Portkey árazás",[474],{"tag":438,"href":59,"children":475},[476],"Portkey gateway a GitHubon, MIT-licencű",[478],{"tag":438,"href":62,"children":479},[480],"A Portkey saját benchmarkja: átjáró kontra közvetlen Bedrock",[482],{"tag":438,"href":65,"children":483},[484],"Portkey státuszoldal",[486],{"tag":438,"href":68,"children":487},[488],"A Palo Alto Networks lezárja a Portkey felvásárlását, 2026. május",[490],{"tag":438,"href":71,"children":491},[70],[493],{"tag":438,"href":74,"children":494},[495],"Cloudflare AI Gateway árazás",[497],{"tag":438,"href":77,"children":498},[499],"LiteLLM árazás",[501],{"tag":438,"href":80,"children":502},[503],"OpenRouter árazás",[505,562,629,690],{"slug":506,"published":507,"minutes":508,"category":7,"tags":509,"keywords":515,"about":529,"sources":537,"cover":556,"og":557,"expertise":83,"locales":558,"lang":87,"title":559,"description":560,"coverAlt":561},"deepseek-v4-1-flash-1017","2026-10-17",15,[510,511,512,513,514],"DeepSeek","Open-weight models","KV cache","Mixture of experts","LLM cost",[516,517,518,519,520,521,522,523,524,525,526,527,528],"DeepSeek V4.1 Flash 1017","DeepSeek V4.1 Flash","Causal Encoder-Decoder","Compressed Sparse Attention 2","CSA2","FP4 KV cache","KV cache compression","SWA Bounded Replay","Engram conditional memory","DSpark speculative decoding","DeepSeek pricing","DeepSWE benchmark","open-weight coding model",[530,532,534],{"name":510,"url":531},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FDeepSeek",{"name":513,"url":533},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMixture_of_experts",{"name":535,"url":536},"Transformer (deep learning architecture)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTransformer_(deep_learning_architecture)",[538,541,544,547,550,553],{"title":539,"url":540},"DeepSeek-AI: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (arXiv:2609.19969)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.19969",{"title":542,"url":543},"Hugging Face: deepseek-ai\u002FDeepSeek-V4.1-Flash-1017 model card","https:\u002F\u002Fhuggingface.co\u002Fdeepseek-ai\u002FDeepSeek-V4.1-Flash-1017",{"title":545,"url":546},"OpenRouter: DeepSeek V4.1 Flash 1017, pricing and providers","https:\u002F\u002Fopenrouter.ai\u002Fdeepseek\u002Fdeepseek-v4.1-flash-1017",{"title":548,"url":549},"The Decoder: Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks while once again massively cutting per-task costs","https:\u002F\u002Fthe-decoder.com\u002Fdeepseek-v4-1-flash-1017-beats-larger-rivals-in-agentic-tasks-while-once-again-massively-cutting-per-task-costs\u002F",{"title":551,"url":552},"AI Weekly: DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API","https:\u002F\u002Faiweekly.co\u002Falerts\u002Fdeepseek-opens-v41-flash-1017-weights-and-075-search-api",{"title":554,"url":555},"DeepSeek on X: DeepSeek-V4.1-Flash-1017 announcement","https:\u002F\u002Fx.com\u002Fdeepseek_ai\u002Fstatus\u002F2111375640717033777","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fog.jpg",[85,86,87],"DeepSeek V4.1 Flash 1017: 890 bájt KV-cache tokenenként, és mit nyer ezzel egy ágens","Technikai mélyfúrás a DeepSeek V4.1 Flash 1017-ről: encoder-decoder felosztás, CSA2 cache-megosztás, FP4 KV-cache, benchmarkok és a valós költség ágensfeladatonként.","Balra egy magas, vékony kártyákból álló köteg, egy nyíl, jobbra ugyanezek a kártyák a magasság negyedére préselve.",{"slug":563,"published":507,"minutes":564,"category":7,"tags":565,"keywords":570,"about":582,"sources":592,"cover":623,"og":624,"expertise":83,"locales":625,"lang":87,"title":626,"description":627,"coverAlt":628},"llm-rate-limits-retries-provider-fallback",10,[566,567,568,569,9],"Rate limits","Retries","Fallback","Reliability",[571,572,573,574,575,576,577,578,579,580,581],"llm rate limit handling","429 too many requests llm api","exponential backoff with jitter","anthropic 529 overloaded error","openai rate limit retry","llm provider fallback","litellm fallbacks","retry-after header","llm circuit breaker","multi provider llm failover","claude api rate limits",[583,586,589],{"name":584,"url":585},"Token bucket","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FToken_bucket",{"name":587,"url":588},"Exponential backoff","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FExponential_backoff",{"name":590,"url":591},"Circuit breaker design pattern","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCircuit_breaker_design_pattern",[593,596,599,602,605,608,611,614,617,620],{"title":594,"url":595},"Claude Platform Docs: Rate limits","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Frate-limits",{"title":597,"url":598},"Claude Platform Docs: API errors","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Ferrors",{"title":600,"url":601},"OpenAI API Docs: Rate limits","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Frate-limits",{"title":603,"url":604},"AWS Builders Library: Timeouts, retries and backoff with jitter","https:\u002F\u002Fbuilder.aws.com\u002Fcontent\u002F3EumjoZascWd1oZiEgL8ORlv3qE\u002Ftimeouts-retries-and-backoff-with-jitter",{"title":606,"url":607},"MDN: Retry-After header","https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FRetry-After",{"title":609,"url":610},"Martin Fowler: Circuit Breaker (2014)","https:\u002F\u002Fmartinfowler.com\u002Fbliki\u002FCircuitBreaker.html",{"title":612,"url":613},"LiteLLM Docs: Router, retries and cooldowns","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":615,"url":616},"LiteLLM Docs: Proxy fallbacks and reliability","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Freliability",{"title":618,"url":619},"OpenRouter Docs: Model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":621,"url":622},"AI SDK Docs: Settings (maxRetries, timeout)","https:\u002F\u002Fai-sdk.dev\u002Fdocs\u002Fai-sdk-core\u002Fsettings","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fog.jpg",[85,86,87],"LLM rate limitek élesben: újrapróbálás, backoff és szolgáltatóváltás","Hogyan működnek az LLM rate limitek, mit érdemes újrapróbálni, backoff jitterrel, retry egy rétegben, és fallback-láncok, amelyek nem rontják el a kimenetet.","Kis négyzetek kapaszkodnak három fokon egy széles téglalaphoz, mögötte még kettő sorban.",{"slug":630,"published":507,"minutes":631,"category":7,"tags":632,"keywords":638,"about":649,"sources":659,"cover":684,"og":685,"expertise":83,"locales":686,"lang":87,"title":687,"description":688,"coverAlt":689},"prompt-versioning-management",8,[633,634,635,636,637],"Prompt management","Versioning","LLMOps","Evals","Langfuse",[639,640,641,642,643,644,645,646,647,648],"prompt versioning","prompt management","prompt registry","version control for prompts","langfuse prompt management","mlflow prompt registry","prompts in git","openai prompt object deprecation","prompt rollback production","prompt ci evaluation",[650,653,656],{"name":651,"url":652},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":654,"url":655},"Version control","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FVersion_control",{"name":657,"url":658},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",[660,663,666,669,672,675,678,681],{"title":661,"url":662},"OpenAI API Docs: Migrate from prompt objects","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\u002Fmigrate-from-prompt-object",{"title":664,"url":665},"OpenAI API Docs: Prompt engineering (reusable prompts deprecation note)","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompt-engineering",{"title":667,"url":668},"Langfuse Docs: Prompt version control","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fprompt-version-control",{"title":670,"url":671},"Langfuse Docs: Prompt caching in the SDKs","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fcaching",{"title":673,"url":674},"Langfuse Docs: Link prompts to traces","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Flink-to-traces",{"title":676,"url":677},"MLflow Docs: Prompt Registry","https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002F",{"title":679,"url":680},"Promptfoo Docs: GitHub Action","https:\u002F\u002Fwww.promptfoo.dev\u002Fdocs\u002Fintegrations\u002Fgithub-action\u002F",{"title":682,"url":683},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fog.jpg",[85,86,87],"Promptverziózás élesben: git, registry, címkék és visszaállítás","Promptok verziózása élesben: mi tartozik egy verzióhoz, git vagy prompt registry, címkék és visszaállítás, eval-kapu a CI-ban és a cache-re gyakorolt hatás.","Öt álló kártya sorban, a harmadik íves nyíllal visszafordul, a kapu az utolsó előtt áll.",{"slug":691,"published":507,"minutes":692,"category":7,"tags":693,"keywords":698,"about":709,"sources":719,"cover":740,"og":741,"expertise":83,"locales":742,"lang":87,"title":743,"description":744,"coverAlt":745},"llm-batch-api-offline-workloads",9,[694,695,635,696,697],"Batch API","Cost","Prompt caching","Data pipelines",[699,700,701,702,703,704,705,706,707,708],"llm batch api","anthropic message batches api","openai batch api","gemini batch mode","batch inference llm cost","batch api 50 percent discount","openai flex processing","bedrock batch inference","llm offline processing","batch api prompt caching",[710,713,716],{"name":711,"url":712},"Batch processing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBatch_processing",{"name":714,"url":715},"JSON Lines","https:\u002F\u002Fjsonlines.org\u002F",{"name":717,"url":718},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[720,723,725,726,729,732,734,737],{"title":721,"url":722},"Claude Platform Docs: Batch processing","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fbatch-processing",{"title":724,"url":595},"Claude Platform Docs: Rate limits (Message Batches API)",{"title":682,"url":683},{"title":727,"url":728},"OpenAI API Docs: Batch API","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fbatch",{"title":730,"url":731},"OpenAI API Docs: Flex processing","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fflex-processing",{"title":733,"url":601},"OpenAI API Docs: Rate limits (batch queue limits)",{"title":735,"url":736},"Google AI for Developers: Gemini Batch API","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fbatch-api",{"title":738,"url":739},"Amazon Bedrock User Guide: Batch inference","https:\u002F\u002Fdocs.aws.amazon.com\u002Fbedrock\u002Flatest\u002Fuserguide\u002Fbatch-inference.html","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fog.jpg",[85,86,87],"LLM batch API-k: félárú inferencia olyan munkára, amely várhat","Mikor érdemes az Anthropic, OpenAI és Gemini batch API-ját használni, hogyan működnek a limitek, a párosítás és a hibák, és hogyan adódnak össze a kedvezmények.","Széles doboz nyolc kis négyzettel, balról érkeznek, egy hosszú nyíl visszatér.",1792261159105]