[{"data":1,"prerenderedAt":566},["ShallowReactive",2],{"tool-litellm-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":29,"cover":51,"og":52,"expertise":53,"locales":54,"lang":57,"title":58,"description":59,"coverAlt":60,"url":61,"pricing":62,"kind":9,"metaTitle":63,"takeaways":64,"faq":70,"toc":83,"blocks":108,"others":338},"litellm","2026-05-20",10,"llmops",[9,10,11,12,13],"LLM gateway","OpenAI-compatible","Cost control","Routing","MCP",[4,15,16,17,18,19,20,21],"litellm vs portkey","llm gateway comparison","openai compatible proxy","litellm proxy config yaml","llm spend tracking per team","self-hosted llm gateway","llm budget enforcement",[23,26],{"name":24,"url":25},"LiteLLM","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLiteLLM",{"name":27,"url":28},"Model Context Protocol","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FModel_Context_Protocol",[30,33,36,39,42,45,48],{"title":31,"url":32},"LiteLLM documentation: getting started","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002F",{"title":34,"url":35},"LiteLLM documentation: virtual keys","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Fvirtual_keys",{"title":37,"url":38},"LiteLLM documentation: router and load balancing","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":40,"url":41},"LiteLLM documentation: benchmarks","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fbenchmarks",{"title":43,"url":44},"LiteLLM documentation: supported endpoints","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fsupported_endpoints",{"title":46,"url":47},"LiteLLM documentation: Enterprise","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fenterprise",{"title":49,"url":50},"LiteLLM pricing","https:\u002F\u002Fwww.litellm.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Flitellm\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flitellm\u002Fog.jpg","ai-engineer",[55,56,57],"en","de","hu","LiteLLM: az OpenAI-kompatibilis gateway, amit a legtöbb platformcsapat futtat","A LiteLLM a legtöbb platformcsapat előtt futó, MIT-licencelt OpenAI-kompatibilis gateway. Ami jól megy, mi kerül és hol törik el.","A LiteLLM gateway kérési útvonala: alkalmazás, kulcsellenőrzés, router, szolgáltató, válasz, alattuk a Postgres és a Redis.","https:\u002F\u002Fwww.litellm.ai","MIT · Enterprise from $20 per seat","LiteLLM: a gateway, ami mindent közé tesz · Balázs Csorba",[65,66,67,68,69],"A LiteLLM MIT-licencelt Python SDK és proxy, amely több mint 140 szolgáltatót tesz egy OpenAI-alakú végpont mögé, virtuális kulcsokkal, csapaponkénti büdzsével és szolgáltatókon átívelő fallbackkel.","Az érték szervezeti, nem technikai: a modellváltás konfigurációs szerkesztés, és minden kérésből költségsor keletkezik.","A többletlatencia mérhető és közzétett: a dokumentáció 8 ms p95-öt ad 1000 kérés\u002Fmásodpercnél, és szokatlanul egyértelműen jelzi, hogy a késleltetés csak a folyamatban lévő kérések számával együtt értelmezhető.","Az ingyenes szint maga az egész gateway. Az egynél több öttel járó SSO, az audit naplók, a kulcsrotáció és a beépített moderációs callbackek licenc mögött vannak, amelyet az éves kéréskapacitásra áraznak, nyilvános listaár nélkül.","A kiadási ritmus körülbelül heti egy minor vonal, négy soros támogatási ablak mellett, így az frissítés visszatérő üzemeltetési munka.",[71,74,77,80],{"q":72,"a":73},"A LiteLLM csak az OpenAI SDK burkolója?","Nem. Az SDK egységesíti a kéréseket, válaszokat és kivételokat a támogatott szolgáltatókon, a proxy pedig hozzáad a virtuális kulcsokat, a költségkövetést, a büdzséket, a routingot, a leállásokat, a fallbackeket és a gyorsítótárazást. A szokásos út az, hogy egyetlen szolgáltatásban az SDK-vel indulunk, majd átállunk a proxyra, amint egynél több csapatnak kell hozzáférése.",{"q":75,"a":76},"Mennyi késleltetést ad hozzá a gateway?","A benchmarkoldal 8 ms p95-öt ad 1000 kérés\u002Fmásodpercnél, négy példányon, egyenként 4 vCPU és 8 GB memóriával. Ez a szám tartalmazza a klienst: a dokumentáció kiemeli, hogy gondolkodási idő nélküli zárt ciklusú kliens körülbelül 130 helyett 1000 folyamatban lévő kérést tart, ami Little törvénye szerint azonos átbocsátás mellett mintegy nyolcszoros késleltetést jelent.",{"q":78,"a":79},"Az ingyenes változat tényleg betartatja a büdzséket?","Igen. A virtuális kulcsok, a csapatok, a költségkövetés, a büdzsék, a ratelimitok és az LLM fallbackek mind az open source szinten vannak. Licenc mögött az identitás és a governance van: az öttelennél több felhasználónak járó SSO, a SCIM, az audit naplók, a secret manager visszaírás, a virtuális kulcsrotáció és a beépített moderációs callbackek.",{"q":81,"a":82},"Hogyan áraz az Enterprise?","Nincs nyilvános listaár. Az árazási oldal szerint a licenc az éves gateway kéréskapacitáshoz, a telepítés architektúrájához és a támogatási igényhez igazodik, sosem tokenenként, és minden ajánlat az értékesítéstől jön. A 30 napos próbakulcs hitelkártya nélkül jár, a beszerzés pedig AWS Marketplace-en és viszonteladókon keresztül is működik.",[84,87,90,93,96,99,102,105],{"id":85,"title":86},"what-it-is","Mi a LiteLLM",{"id":88,"title":89},"how-it-works","Hogyan működik",{"id":91,"title":92},"getting-started","Első lépések",{"id":94,"title":95},"keys-and-budgets","Kulcsok, büdzsék és költség",{"id":97,"title":98},"pricing","Árazás és licenchatárok",{"id":100,"title":101},"where-it-shingles","Hol csikizik",{"id":103,"title":104},"verdict","Vélemény",{"id":106,"title":107},"sources","Források",[109,113,116,119,122,140,141,144,153,156,160,163,166,178,179,182,184,191,213,214,217,219,222,223,226,229,230,233,280,283,284,287,300,306,307],{"type":110,"content":111},"paragraph",[112],"A LiteLLM az a nyílt forráskódú LLM gateway, amelyet a legtöbb platformcsapat akkor is futtat, ha nem így tervezte. Két termék egy csomagban: egy Python SDK, amely a nagy szolgáltatókat az OpenAI kérés- és válaszformájára egységesíti, és egy proxy, amely virtuális kulcsokat, büdzséket, routingot és költségkövetést tesz eléjük. A dokumentáció és a közzétett számok alapján ez a kategória legteljesebb szerelvénye, és elég nehéz ahhoz, hogy tudatos döntést érdemeljen.",{"type":110,"content":114},[115],"Egy ugrással a modellszolgáltatók előtt ül, nem az alkalmazásadatok előtt. A visszakeresés, a promptkezelés és az agent-orchestrálás máshol él; egy OpenAI kliens, egy LangGraph munkafolyamat és egy LiteLLM proxy gond nélkül együtt létezik. Amit a gateway birtokol, az maga a kérés: ki adhatja meg, melyik deployment szolgálja ki, mennyibe kerül és ki viseli a számlát.",{"type":117,"level":118,"id":85,"text":86},"heading",2,{"type":110,"content":120},[121],"A név két futtatható dolgot takar, amelyek egy konfigurációs fájlt és egy modelláratáblát osztanak. Az SDK egy könyvtár, amit importálunk. A proxy egy szerver, amely OpenAI huzalformátumot beszél, így minden kliens, ami már működik az OpenAI ellen, átirányítható az alap URL és a kulcs megváltoztatásával.",{"type":123,"ordered":124,"items":125},"list",false,[126,128,130,132,134,136,138],[127],"MIT-licencelt, Enterprise szinttel, amely identitási és governance funkciókat ad hozzá, nem kapacitást.",[129],"Több mint 140 providerintegráció és körülbelül 1900 modell, nyilvános ár- és kontextusablak-fájlban tartva, amely a csomaggal együtt érkezik.",[131],"OpenAI-kompatibilis végpontok: chat completions, az Anthropic messages út, a responses API, embeddingek, batchek és realtime.",[133],"Virtuális kulcsok kulcs-, csapat- és felhasználószintű büdzsével, ratelimittel és modell-engedélyezési listával, mind Postgres mögött.",[135],"Egy router több kiválasztási stratégiával, deploymentenkénti leállással, súlyozott failoverrel, modellhatárokon átívelő fallbackkel és session-affinitással.",[137],"MCP gateway és A2A agent gateway ugyanazon a végponton és ugyanazzal a kulcspolitikával, hogy az agentek szabályozott eszközhozzáférést kapjanak külön réteg nélkül.",[139],"Callbackek Langfuse, MLflow, Helicone, LangSmith és OpenTelemetry felé, plusz Prometheus metrikák és admin felület.",{"type":117,"level":118,"id":88,"text":89},{"type":110,"content":142},[143],"Minden proxyon ámenő kérés ugyanazt a sorrendet követi: a kulcs hitelesítése, a büdzsé és a ratelimit ellenőrzése, a tokenek számolása, a deployment kiválasztása, a szolgáltató meghívása, a válasz fordítása, a költség rögzítése. Minden lépés külön is meghiúsulhat, és a router hibakezelése az a hely, ahol a legtöbb üzemeltetési tudás keletkezik.",{"type":145,"attrs":146,"inner":150,"caption":151},"diagram",{"viewBox":147,"role":148,"aria-labelledby":149},"0 0 720 320","img","d1-llm-t d1-llm-d","\u003Ctitle id=\"d1-llm-t\">A LiteLLM kérési útvonala\u003C\u002Ftitle>\u003Cdesc id=\"d1-llm-d\">Egy alkalmazás chat completion kérést küld a LiteLLM gatewaynek. A gateway ellenőrzi a virtuális kulcsot és a büdzsét, a router kiválaszt egy deploymentet, a szolgáltató válaszol, és ugyanaz az OpenAI-alakú JSON megy vissza. A kérési útvonal alatt a Postgres, a Redis és az observability callbackek találhatók.\u003C\u002Fdesc>\u003Ctext x=\"20\" y=\"28\" class=\"d-title\">A LiteLLM kérési útvonala\u003C\u002Ftext>\u003Ctext x=\"700\" y=\"28\" text-anchor=\"end\" class=\"d-label\">openai-kompatibilis\u003C\u002Ftext>\u003Crect x=\"20\" y=\"70\" width=\"116\" height=\"64\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"78\" y=\"98\" text-anchor=\"middle\" class=\"d-text\">Alkalmazás\u003C\u002Ftext>\u003Ctext x=\"78\" y=\"119\" text-anchor=\"middle\" class=\"d-small\">OpenAI kliens\u003C\u002Ftext>\u003Cpath d=\"M136 102 H148\" class=\"d-line\" \u002F>\u003Cpath d=\"M156 102 l-9 -5 v10 z\" class=\"d-head\" \u002F>\u003Crect x=\"156\" y=\"70\" width=\"116\" height=\"64\" rx=\"10\" class=\"d-accent\" \u002F>\u003Ctext x=\"214\" y=\"98\" text-anchor=\"middle\" class=\"d-text\">Gateway\u003C\u002Ftext>\u003Ctext x=\"214\" y=\"119\" text-anchor=\"middle\" class=\"d-small\">kulcs, büdzsé\u003C\u002Ftext>\u003Cpath d=\"M272 102 H284\" class=\"d-line\" \u002F>\u003Cpath d=\"M292 102 l-9 -5 v10 z\" class=\"d-head\" \u002F>\u003Crect x=\"292\" y=\"70\" width=\"116\" height=\"64\" rx=\"10\" class=\"d-sky\" \u002F>\u003Ctext x=\"350\" y=\"98\" text-anchor=\"middle\" class=\"d-text\">Router\u003C\u002Ftext>\u003Ctext x=\"350\" y=\"119\" text-anchor=\"middle\" class=\"d-small\">deployment választás\u003C\u002Ftext>\u003Cpath d=\"M408 102 H420\" class=\"d-line\" \u002F>\u003Cpath d=\"M428 102 l-9 -5 v10 z\" class=\"d-head\" \u002F>\u003Crect x=\"428\" y=\"70\" width=\"116\" height=\"64\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"486\" y=\"98\" text-anchor=\"middle\" class=\"d-text\">Szolgáltató\u003C\u002Ftext>\u003Ctext x=\"486\" y=\"119\" text-anchor=\"middle\" class=\"d-small\">OpenAI, Bedrock\u003C\u002Ftext>\u003Cpath d=\"M544 102 H556\" class=\"d-line\" \u002F>\u003Cpath d=\"M564 102 l-9 -5 v10 z\" class=\"d-head\" \u002F>\u003Crect x=\"564\" y=\"70\" width=\"116\" height=\"64\" rx=\"10\" class=\"d-mint\" \u002F>\u003Ctext x=\"622\" y=\"98\" text-anchor=\"middle\" class=\"d-text\">Válasz\u003C\u002Ftext>\u003Ctext x=\"622\" y=\"119\" text-anchor=\"middle\" class=\"d-small\">ugyanaz a JSON\u003C\u002Ftext>\u003Ctext x=\"20\" y=\"172\" class=\"d-label\">ÁLLAPOT ÉS OBSERVABILITY\u003C\u002Ftext>\u003Cpath d=\"M214 216 V146\" class=\"d-line d-dash\" \u002F>\u003Cpath d=\"M214 138 l-5 9 h10 z\" class=\"d-head\" \u002F>\u003Cpath d=\"M350 216 V146\" class=\"d-line d-dash\" \u002F>\u003Cpath d=\"M350 138 l-5 9 h10 z\" class=\"d-head\" \u002F>\u003Cpath d=\"M601 216 V146\" class=\"d-line d-dash\" \u002F>\u003Cpath d=\"M601 138 l-5 9 h10 z\" class=\"d-head\" \u002F>\u003Crect x=\"134\" y=\"216\" width=\"160\" height=\"64\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"214\" y=\"244\" text-anchor=\"middle\" class=\"d-text\">Postgres\u003C\u002Ftext>\u003Ctext x=\"214\" y=\"265\" text-anchor=\"middle\" class=\"d-small\">kulcsok, költségek\u003C\u002Ftext>\u003Crect x=\"270\" y=\"216\" width=\"160\" height=\"64\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"350\" y=\"244\" text-anchor=\"middle\" class=\"d-text\">Redis\u003C\u002Ftext>\u003Ctext x=\"350\" y=\"265\" text-anchor=\"middle\" class=\"d-small\">leállások, gyorsítótár\u003C\u002Ftext>\u003Crect x=\"502\" y=\"216\" width=\"198\" height=\"64\" rx=\"10\" class=\"d-box\" \u002F>\u003Ctext x=\"601\" y=\"244\" text-anchor=\"middle\" class=\"d-text\">Callbackek\u003C\u002Ftext>\u003Ctext x=\"601\" y=\"265\" text-anchor=\"middle\" class=\"d-small\">Langfuse, OTEL\u003C\u002Ftext>\u003Ctext x=\"360\" y=\"306\" text-anchor=\"middle\" class=\"d-label\">A gateway sosem őrzi a szolgáltatói kulcsokat\u003C\u002Ftext>",[152],"Egy ugrás minden szolgáltató előtt. A Postgres és a Redis fordítóból kontrollponttá teszik, és ugyanazok, amelyeket méretezni és menteni kell.",{"type":110,"content":154},[155],"A modellnevek az absztrakció, amelyen ez az egész áll. A konfigurációs fájl közös alias alatt listáz deploymenteket, több deployment viselheti ugyanazt az aliast, és az aliasra érkező kérést az a deployment szolgálja ki, amelyet a routingstratégia választ. Ha az aliast mozgatjuk, minden hívó szolgáltatót vált kódmódosítás nélkül. Ugyanebben a táblában élnek a fallbackek: egy kiesett deploymentet vagy a testvérei közül választanak újra, vagy egy megnevezett fallback modellre eszkalálják.",{"type":117,"level":157,"id":158,"text":159},3,"overhead","Mért többletlatencia",{"type":110,"content":161},[162],"A benchmarkoldal 8 ms p95-öt ad 1000 kérés\u002Fmásodpercnél, négy példányon egyenként 4 vCPU és 8 GB mellett, a realtime végponthoz pedig 59 ms mediánt, 67 ms p95-öt és 99 ms p99-et 1207 RPS mellett. Ugyanez az oldal közvetlen Portkey-összehasonlítást is közöl közel 1170 RPS mellett, azonos hardveren, ahol a LiteLLM p95 150 ms és p99 240 ms, a Portkey 230 ms és 500 ms értéket jelez.",{"type":110,"content":164},[165],"A hasznosabb rész a maga a dokumentáció által közölt fenntartás. A terhelésgenerátor 0,5 és 1 másodperc között szünetel a kérések között, így bármely pillanatban körülbelül 130 kérés van folyamatban; a gondolkodási idő nélküli zárt ciklusú kliens 1000-et tart, és ugyanakkora átbocsátás mellett mintegy nyolcszoros késleltetést jelez. A közzétett késleltetési szám a folyamatban lévő kérések mélysége nélkül nem jelent semmit, és ez több közzététel, mint amit a legtöbb gyártói benchmark magával hoz.",{"type":167,"variant":168,"title":169,"body":170},"callout","note","Mérd meg magad",[171],[172,173,177],"A dokumentáció szállít egy ",{"tag":174,"children":175},"code",[176],"network_mock"," módot, amely a HTTP szállítási rétegen elfogja a kimenő kéréseket és előre elkészített válaszokat ad vissza, mellé egy nyilvános benchmark szkriptet. Saját forgalommal futtatva percek alatt megvan az egyetlen többletlatencia érték, amivel érdemes tervezni.",{"type":117,"level":118,"id":91,"text":92},{"type":110,"content":180},[181],"A legkisebb hasznos telepítés egy konfigurációs fájl két deploymentdel egy aliast, egy master kulccsal és egy Postgres kapcsolattal. A gyorsítótár, a guardrailok, a callbackek és az admin felület később jönnek.",{"type":174,"code":183},"# config.yaml: két deployment egy alias alatt, plusz egy kezelt fallback\nmodel_list:\n  - model_name: chat-fast\n    litellm_params:\n      model: openai\u002Fgpt-5.6-luna\n      api_key: os.environ\u002FOPENAI_API_KEY\n      rpm: 900\n  - model_name: chat-fast\n    litellm_params:\n      model: anthropic\u002Fclaude-sonnet-5\n      api_key: os.environ\u002FANTHROPIC_API_KEY\n      rpm: 60\n  - model_name: chat-cheap\n    litellm_params:\n      model: openai\u002Fgpt-5.6-luna\n      api_key: os.environ\u002FOPENAI_API_KEY\n\nrouter_settings:\n  routing_strategy: simple-shuffle\n  num_retries: 2\n  fallbacks:\n    - chat-fast: [chat-cheap]\n\ngeneral_settings:\n  master_key: os.environ\u002FLITELLM_MASTER_KEY\n  database_url: os.environ\u002FDATABASE_URL\n\n# docker run -p 4000:4000 -v $(pwd)\u002Fconfig.yaml:\u002Fapp\u002Fconfig.yaml \\\n#   -e DATABASE_URL -e LITELLM_MASTER_KEY \\\n#   docker.litellm.ai\u002Fberriai\u002Flitellm:latest --config \u002Fapp\u002Fconfig.yaml",{"type":110,"content":185},[186,187,190],"A kliensoldali változtatás két sor: az OpenAI SDK-t a proxyra kell irányítani, és virtuális kulcsot kell átadni a szolgáltatói kulcs helyett. Minden válasz tartalmazza az ",{"tag":174,"children":188},[189],"x-litellm-overhead-duration-ms"," fejlécet a gateway saját költségével, és erre érdemes riasztani, ha a késleltetés nő úgy, hogy a szolgáltató nem változott.",{"type":167,"variant":192,"title":193,"body":194},"warn","A retry-k szorzódnak, a párhuzamossági limitek most elutasítanak",[195],[196,197,200,201,204,205,208,209,212],"A dokumentáció egyértelmű, hogy a ",{"tag":174,"children":198},[199],"num_retries"," a LiteLLM saját ciklusa, és hogy a szolgáltatói SDK ",{"tag":174,"children":202},[203],"max_retries"," értéke útvonalazott hívásokon nullára van rögzítve, tehát egy deployment értéke nem hatódik meg kétszer. Ezen túl az a deployment, amelynek ",{"tag":174,"children":206},[207],"max_parallel_requests"," vagy a levezetett ",{"tag":174,"children":210},[211],"rpm"," limite kimerül, azonnal 429-et ad ahelyett, hogy várna. A korábbi verziók megvárták a szabad helyet, így aki arra a sorra épített, a limitet kell felemelnie, nem az időtlimitet nyújtania.",{"type":117,"level":118,"id":94,"text":95},{"type":110,"content":215},[216],"A kulcsmodell az, ami miatt a LiteLLM megéri. Egy virtuális kulcs modell-engedélyezési listát, visszaállítási idővel bíró maximális büdzsét, TPM- és RPM-limiteket, párhuzamos kérési plafont és egy tulajdontost hordoz. A kulcsok örökölnek a tulajdonostól, ami kényelmes, de egyben a design legélesebb éle: az admin által felhasználóazonosító nélkül kiállított kulcs semmit nem örököl, és az admin tulajdonú kulcs eléri a adminisztrációs útvonalakat, mert az ügyviteli hozzáférés a tulajdonos szerepét követi, nem a kulcs saját jogosultságait.",{"type":174,"code":218},"# egy kulcs egy csapatnak: plafonnal, ratelimittel és hozzárendeléssel\ncurl 'http:\u002F\u002Flocalhost:4000\u002Fkey\u002Fgenerate' \\\n  -H \"Authorization: Bearer $LITELLM_MASTER_KEY\" \\\n  -H 'Content-Type: application\u002Fjson' \\\n  -d '{\n    \"models\": [\"chat-fast\"],\n    \"max_budget\": 40,\n    \"budget_duration\": \"30d\",\n    \"rpm_limit\": 600,\n    \"tpm_limit\": 400000,\n    \"metadata\": {\"team\": \"platform\", \"env\": \"prod\"}\n  }'\n\n# mennyit költött ez a kulcs, és melyik limittel szemben\ncurl 'http:\u002F\u002Flocalhost:4000\u002Fkey\u002Finfo?key=sk-...' \\\n  -H \"Authorization: Bearer $LITELLM_MASTER_KEY\"",{"type":110,"content":220},[221],"A költséget ugyanabból a nyilvános áratáblából számítják, amelyet az SDK szállít, minden completion-, embedding- és képkérésnél kiírnak, és kulcsonként, felhasználónként és csapatonként lekérdezhető. Ezek tehát becslések egy olyan táblából, amely a szolgáltató számlázását megelőzheti: elég közel a belső elszámoláshoz, nem elég pontos egy számla egyeztetéséhez. Ha egy szám szerződéses súllyal számít, a szolgáltató számlájából jöjjön.",{"type":117,"level":118,"id":97,"text":98},{"type":110,"content":224},[225],"A gateway MIT-licenc alatt örökre ingyen futtatható saját szerveren, felhasználó- és tokenalapú díj nélkül. Az árazási oldal az open source szintbe sorol több mint 140 providerintegrációt, virtuális kulcsokat, felhasználókat és csapatokat, költségkövetést, büdzséket és ratelimitet, LLM fallbackeket, kérés- és válasznaplózást, Prometheus metrikákat és guardrailokat. A beszerzés közvetlenül vagy az AWS Marketplace-en és viszonteladókon keresztül zajlik.",{"type":110,"content":227},[228],"A licenc kontrollt vásárol, nem átbocsátást. Az SSO öt felhasználóig benne van, fölötte licencköteles; a SCIM, az audit naplók, a secret manager visszaírás, az IP engedélylisták, a több régiós vezérlőréteg, a virtuális kulcsrotáció és a beépített moderációs callbackek mind mögötte vannak, és a dokumentáció egyenként nevesíti őket, hogy senki ne a bevezetés után fedezze fel a határt. Az Enterprise árazása az éves kéréskapacitáshoz és a telepítés formájához igazodik, sosem tokenenként, és nincs listaár, így minden valódi költségösszehasonlítás az értékesítéssel kezdődik.",{"type":117,"level":118,"id":100,"text":101},{"type":110,"content":231},[232],"A gyengeségei üzemeltetési jellegűek, nem funkcionálisak. A proxyhoz Postgres kell, és egynél több példány esetén Redis is: ez állapottartó rendszer séma-migrációkkal és kapcsolatszámtani művelettel, és a dokumentációnak külön méretezési oldalai pont azért vannak, mert ott buknak el a telepítések. A Python SDK nagy függőségi fát húz egy szolgáltatásba, amely valójában kéréseket formáz. A 2026. márciusi supply-chain incidens, amelyben megszemélyesített LiteLLM kiadások jutottak el a PyPI-re, pedig emlékeztet arra, hogy ez egy rendkívül sok telepítéssel rendelkező csomag, amely produkciós kulcsokat kezel.",{"type":234,"head":235,"rows":243},"table",[236,238,239,241],[237],"",[24],[240],"Portkey",[242],"Bifrost",[244,253,262,271],[245,247,249,251],[246],"Telepítés",[248],"Saját szerver, air-gap támogatott",[250],"Menedzselt felhő és saját szerver",[252],"Saját szerver",[254,256,258,260],[255],"Költségalap",[257],"Ingyenes OSS, licenc kapacitás szerint",[259],"Havi előfizetés",[261],"Nincs nyilvános listaár",[263,265,267,269],[264],"Gyártó által közölt p99",[266],"0,66 ms",[268],"2,29 ms",[270],"4,54 ms",[272,274,276,278],[273],"Legjobban illik",[275],"Platformcsapat, aki a hozzáférést őrzi",[277],"Először guardrailok",[279],"Minimális hop-többlet",{"type":110,"content":281},[282],"Ezek a többletlatencia számok a LiteLLM saját benchmarkjából származnak, ahol minden gateway ugyanarra a determinisztikus mock upstreamre mutatott, azonos hardveren, ami fairré teszi az összevetést és előre megjósolhatóvá a győztest. Ami nem LLM gateway, annak érdemes megnézni a Kubernetes natív változatát: az Envoy AI Gateway az OpenAI routing felületét adja meg anélkül, hogy Python futásidőt tennél a kérési útvonalba, és ez a strukturális különbség többet számít a fenti számoknál.",{"type":117,"level":118,"id":103,"text":104},{"type":110,"content":285},[286],"A LiteLLM a helyes alapérték annak a platformcsapatnak, amely sok csapatnak ad hozzáférést több szolgáltatóhoz, és három kérdést kell megválaszolnia üzem közben: ezt ki költötte, melyik deployment szolgálta ki, és mi történik, ha az adott szolgáltató romlik. Mindhármat jobban megválaszolja, mint az alternatívák, és mindezt anélkül, hogy átvenné a szolgáltatói kulcsok kezelését.",{"type":123,"ordered":288,"items":289},true,[290,292,294,296,298],[291],"Vedd fel, ha egynél több csapat hív modelleket egynél több szolgáltatón át. A büdzsék, a költségelszámolás és a szolgáltatókon átívelő fallback indokolja az állapottartó telepítést.",[293],"Vedd fel, ha a beszerzés összevonása a cél. A modellváltás konfigurációs szerkesztés lesz, nem biztonsági felülvizsgálati kör.",[295],"Ha egyetlen szolgáltatás van, először csak az SDK-t ved. A hibákat és válaszokat egységesíti az üzemeltetési költség töredékéért, és később nyitva hagyja a proxy ajtaját.",[297],"Hagyd ki, ha egy csapat és egy szolgáltató a teljes történet. Egy szolgáltatói SDK és egy költség-táblázat kevesebb gépszet ugyanerre az eredményre.",[299],"Hagyd ki, ha a forró útvonalon az utolsó ezredmásodperc számít. A gateway Python folyamat a kérési útvonalon, a Rust átírás még béta jelölésű.",{"type":167,"variant":301,"title":302,"body":303},"tip","Mielőtt elköteleződsz",[304],[305],"Rögzíts egy minor vonalat, telepítsd a patcheket, és lépj feljebb, mielőtt kiesik a négysoros támogatási ablakból. Az adatbázis-méretezési oldalt az első skálázás előtt olvasd el, nem utána. És ha a szolgáltatói SDK már mindenhol telepítve van, a pontos verziót rögzíts egy lock fájlban, ne bízd a resolverre.",{"type":117,"level":118,"id":106,"text":107},{"type":123,"ordered":288,"items":308},[309,314,318,322,326,330,334],[310],{"tag":311,"href":32,"children":312},"a",[313],"LiteLLM dokumentáció: első lépések",[315],{"tag":311,"href":35,"children":316},[317],"LiteLLM dokumentáció: virtuális kulcsok",[319],{"tag":311,"href":38,"children":320},[321],"LiteLLM dokumentáció: router és terheléselosztás",[323],{"tag":311,"href":41,"children":324},[325],"LiteLLM dokumentáció: benchmarkok",[327],{"tag":311,"href":44,"children":328},[329],"LiteLLM dokumentáció: támogatott végpontok",[331],{"tag":311,"href":47,"children":332},[333],"LiteLLM dokumentáció: Enterprise",[335],{"tag":311,"href":50,"children":336},[337],"LiteLLM árazás",[339,388,463,524],{"slug":340,"published":341,"minutes":342,"category":7,"tags":343,"keywords":349,"about":356,"sources":360,"cover":379,"og":380,"expertise":53,"locales":381,"lang":57,"title":382,"description":383,"coverAlt":384,"url":385,"pricing":386,"kind":387},"ollama","2026-09-29",11,[344,345,346,347,348],"Local inference","Open models","llama.cpp","GGUF","Model serving",[340,350,351,352,353,354,355],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[357],{"name":358,"url":359},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[361,364,367,370,373,376],{"title":362,"url":363},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":365,"url":366},"Ollama on GitHub, with the MIT LICENSE file","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":368,"url":369},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":371,"url":372},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":374,"url":375},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":377,"url":378},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg",[55,56,57],"Ollama teszt: a barátságos út a nyílt modellekhez","Az Ollama egyetlen HTTP API-n szolgál ki nyílt modelleket saját hardveren. Ami jól megy, hol elmarad az átvitel, és mit nem fed le az MIT-licenc.","Absztrakt borítókép az Ollama teszthez","https:\u002F\u002Follama.com","MIT · free for personal use","Local inference runtime",{"slug":389,"published":390,"minutes":342,"category":7,"tags":391,"keywords":394,"about":400,"sources":406,"cover":456,"og":457,"expertise":53,"locales":458,"lang":57,"title":459,"description":460,"coverAlt":461,"url":402,"pricing":462,"kind":9},"portkey","2026-09-28",[9,392,12,393,11],"Guardrails","Observability",[395,396,16,397,398,20,399],"portkey ai gateway","portkey vs litellm","llm gateway latency overhead","llm guardrails gateway","portkey pricing",[401,403],{"name":240,"url":402},"https:\u002F\u002Fportkey.ai",{"name":404,"url":405},"API gateway","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FAPI_gateway",[407,410,413,416,419,422,425,428,431,434,437,440,443,446,449,452,453],{"title":408,"url":409},"Portkey docs: AI Gateway","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway",{"title":411,"url":412},"Portkey docs: Getting started with the AI Gateway","https:\u002F\u002Fdocs.portkey.ai\u002Fdocs\u002Fguides\u002Fgetting-started\u002Fgetting-started-with-ai-gateway",{"title":414,"url":415},"Portkey docs: Gateway config object","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fapi-reference\u002Fconfig-object",{"title":417,"url":418},"Portkey docs: Guardrails","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails",{"title":420,"url":421},"Portkey docs: Guardrail endpoints and capabilities","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fguardrails\u002Fcapabilities",{"title":423,"url":424},"Portkey docs: Cache, simple and semantic","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fcache-simple-and-semantic",{"title":426,"url":427},"Portkey docs: Load balancing","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fproduct\u002Fai-gateway\u002Fload-balancing",{"title":429,"url":430},"Portkey docs: Enterprise hybrid deployment architecture","https:\u002F\u002Fportkey.ai\u002Fdocs\u002Fself-hosting\u002Fhybrid-deployments\u002Farchitecture",{"title":432,"url":433},"Portkey pricing","https:\u002F\u002Fportkey.ai\u002Fpricing",{"title":435,"url":436},"Portkey gateway on GitHub, MIT licensed","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fgateway",{"title":438,"url":439},"Portkey's own benchmark: gateway versus direct Bedrock","https:\u002F\u002Fgithub.com\u002FPortkey-AI\u002Fbenchmark-test",{"title":441,"url":442},"Portkey status page","https:\u002F\u002Fstatus.portkey.ai\u002F",{"title":444,"url":445},"Palo Alto Networks completes acquisition of Portkey, May 2026","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fcompany\u002Fpress\u002F2026\u002Fpalo-alto-networks-completes-acquisition-of-portkey-to-secure-ai-agents",{"title":447,"url":448},"Palo Alto Networks: Prisma AIRS AI Gateway","https:\u002F\u002Fwww.paloaltonetworks.com\u002Fai-security\u002Fai-gateway",{"title":450,"url":451},"Cloudflare AI Gateway pricing","https:\u002F\u002Fdevelopers.cloudflare.com\u002Fai-gateway\u002Freference\u002Fpricing\u002F",{"title":49,"url":50},{"title":454,"url":455},"OpenRouter pricing","https:\u002F\u002Fopenrouter.ai\u002Fpricing","\u002Fimages\u002Fblog\u002Fportkey\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fportkey\u002Fog.jpg",[55,56,57],"Portkey: éles LLM-átjáró, routing, guardrailok és költség szerint","A Portkey egy OpenAI-kompatibilis végpont mögé szorítja a retry-t, a fallbacket, a cache-t, a guardrailokat és a költségkövetést. Ami jól működik, és mi az ára késleltetésben.","A kérés útja az alkalmazástól a Portkey-átjárón át három modellszolgáltatóig, alatta a guardrail-ítélet és a naplóbejegyzés.","Free · from $49 per month",{"slug":464,"published":465,"minutes":6,"category":7,"tags":466,"keywords":472,"about":480,"sources":492,"cover":517,"og":518,"expertise":53,"locales":519,"lang":57,"title":520,"description":521,"coverAlt":522,"url":483,"pricing":523,"kind":467},"langfuse","2026-08-13",[467,468,469,470,471],"LLM observability","Tracing","OpenTelemetry","Self-hosting","Evaluation",[464,473,474,475,476,477,478,479],"langfuse vs langsmith","llm tracing tool","self-hosted llm observability","langfuse pricing","opentelemetry llm traces","llm cost tracking","prompt versioning",[481,484,486,489],{"name":482,"url":483},"Langfuse","https:\u002F\u002Flangfuse.com",{"name":469,"url":485},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenTelemetry",{"name":487,"url":488},"ClickHouse","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FClickHouse",{"name":490,"url":491},"Observability (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FObservability_(software)",[493,496,499,502,505,508,511,514],{"title":494,"url":495},"Langfuse documentation: observability and application tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Foverview",{"title":497,"url":498},"Langfuse documentation: get started with tracing","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fobservability\u002Fget-started",{"title":500,"url":501},"Langfuse pricing: cloud plans, billable units and worked examples","https:\u002F\u002Flangfuse.com\u002Fpricing",{"title":503,"url":504},"Langfuse pricing: self-hosted plans and the feature comparison","https:\u002F\u002Flangfuse.com\u002Fpricing-self-host",{"title":506,"url":507},"Self-host Langfuse: deployment options, containers and storage services","https:\u002F\u002Flangfuse.com\u002Fself-hosting",{"title":509,"url":510},"Langfuse changelog: v4 is live (17 August 2026)","https:\u002F\u002Flangfuse.com\u002Fchangelog\u002F2026-08-17-langfuse-v4",{"title":512,"url":513},"Langfuse blog: Langfuse joins ClickHouse (16 January 2026)","https:\u002F\u002Flangfuse.com\u002Fblog\u002Fjoining-clickhouse",{"title":515,"url":516},"GitHub: langfuse\u002Flangfuse, the platform repository","https:\u002F\u002Fgithub.com\u002Flangfuse\u002Flangfuse","\u002Fimages\u002Fblog\u002Flangfuse\u002Fcover.webp","\u002Fimages\u002Fblog\u002Flangfuse\u002Fog.jpg",[55,56,57],"Langfuse bemutatás: nyomkövetés, promptok és értékelések saját szerveren","A Langfuse egy MIT-licencelt platformra teszi az LLM-nyomokat, a promptverziókat és a kísérleteket. Mibe kerül a saját telepítés, hogy számol a Usage-alapú ár, és hol veszít.","Egy pipeline a kötegelt alkalmazás-eseménytől a Langfuse web konténeren és az objektumtáron át a ClickHouseig, mellette a Redis és a PostgreSQL.","MIT · paid from $59 per month",{"slug":525,"published":526,"minutes":6,"category":7,"tags":527,"keywords":531,"about":538,"sources":542,"cover":558,"og":559,"expertise":53,"locales":560,"lang":57,"title":561,"description":562,"coverAlt":563,"url":564,"pricing":565,"kind":9},"openrouter","2026-07-23",[9,528,529,10,530],"Model routing","Fallbacks","Pay per token",[525,532,16,533,534,535,536,537],"openrouter vs litellm","openrouter pricing","openai compatible api gateway","llm fallback routing","multi model api gateway","byok llm routing",[539],{"name":540,"url":541},"OpenRouter","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOpenRouter",[543,546,547,550,553,556],{"title":544,"url":545},"OpenRouter documentation: quickstart","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fquickstart",{"title":454,"url":455},{"title":548,"url":549},"OpenRouter documentation: model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":551,"url":552},"OpenRouter documentation: provider routing","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fprovider-selection",{"title":554,"url":555},"OpenRouter documentation index","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fllms.txt",{"title":557,"url":541},"Wikipedia: OpenRouter","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fopenrouter\u002Fog.jpg",[55,56,57],"OpenRouter: egy API-kulcs a katalógus minden modellje előtt","OpenRouter egyetlen OpenAI-kompatibilis végpont mögé tereli a 80+ szolgáltató 500+ modelljét, fallbackkel és listaáron. Mennyibe kerül, és hol törik el.","Kérési útvonal az OpenRouteren át: kliens, router, lehetséges szolgáltatók, fallback lista és a végül válaszoló modell.","https:\u002F\u002Fopenrouter.ai","Pay per token, no subscription",1791383550440]