[{"data":1,"prerenderedAt":694},["ShallowReactive",2],{"blog-ollama-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":21,"sources":25,"cover":44,"og":45,"expertise":46,"locales":47,"lang":50,"title":51,"description":52,"coverAlt":53,"metaTitle":54,"takeaways":55,"faq":61,"toc":74,"blocks":99,"others":451},"ollama","2026-09-29",11,"llmops",[9,10,11,12,13],"Local inference","Open models","llama.cpp","GGUF","Model serving",[4,15,16,17,18,19,20],"ollama vs lm studio","ollama vs vllm","local llm runtime","gguf model server","ollama self hosting","ollama api",[22],{"name":23,"url":24},"Ollama (software)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FOllama",[26,29,32,35,38,41],{"title":27,"url":28},"Ollama API documentation","https:\u002F\u002Fdocs.ollama.com\u002Fapi",{"title":30,"url":31},"Ollama on GitHub, with the MIT LICENSE file","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":33,"url":34},"Ollama terms of service, last updated May 2026","https:\u002F\u002Follama.com\u002Fterms",{"title":36,"url":37},"Ollama pricing, cloud plans and per-token model rates","https:\u002F\u002Follama.com\u002Fpricing",{"title":39,"url":40},"Hardware support: Nvidia, AMD, Metal and Vulkan","https:\u002F\u002Fdocs.ollama.com\u002Fgpu",{"title":42,"url":43},"OpenAI compatibility, including what is not supported","https:\u002F\u002Fdocs.ollama.com\u002Fapi\u002Fopenai-compatibility","\u002Fimages\u002Fblog\u002Follama\u002Fcover.webp","\u002Fimages\u002Fblog\u002Follama\u002Fog.jpg","ai-engineer",[48,49,50],"en","de","hu","Ollama teszt: a barátságos út a nyílt modellekhez","Az Ollama egyetlen HTTP API-n szolgál ki nyílt modelleket saját hardveren. Ami jól megy, hol elmarad az átvitel, és mit nem fed le az MIT-licenc.","Széles doboz, egy nyíl befelé, hat kis négyzet bent, egy nyíl kifelé töréssel.","Ollama teszt: barátságos helyi futtató · Balázs Csorba",[56,57,58,59,60],"Az Ollama saját szoftvere MIT-licencelt, használati korlátozás és felhasználói küszöb nélkül; a neki tulajdonított 700 millió havi aktív felhasználói határ a Meta Llama Community Licence-éhez tartozik, és a súlyokra vonatkozik, nem a futtatókörnyezetre.","A párhuzamos kérések megosztják a kontextusablakot ahelyett, hogy batchelt szekvenciákat kapnának, így a memória az OLLAMA_NUM_PARALLEL és a kontextushossz szorzataként nő, az alapértelmezett párhuzamosság pedig egy.","A 11434-es porton futó kiszolgálónak nincs hitelesítése, és az OpenAI-kompatibilis végpont figyelmen kívül hagyja a kért kulcsot; alapértelmezés szerint loopbackre köt, és ott is kell maradnia.","Az Ollama Cloud a futtatókörnyezet mellett futó fizetős tokenalapú szolgáltatás, a Pro havi $20 $60 kredit mellett, miközben a saját hardveren végzett helyi inferencia korlátlan és ingyenes marad.","A megfelelő eszköz fejlesztéshez, értékeléshez és egycsomópontos on-prem használathoz, és a hibás, amint az egy GPU-ra jutó átvitel dönt a projektről.",[62,65,68,71],{"q":63,"a":64},"Valóban MIT-licencelt az Ollama, vagy van használati határ?","A szoftver MIT-licencelt kiegészítő záradek nélkül, tehát nincs felhasználói küszöb és nincs OpenAI-korlátozás. Az a 700 millió havi aktív felhasználói záradek, amelyet gyakran az Ollamához tulajdonítanak, a Meta Llama Community Licence-ből származik, és a letöltött Llama súlyokra vonatkozik, nem a kiszolgáló futtatókörnyezetre. Az ollama.com hozzáférését külön a felhasználási feltételek szabályozzák, utoljára 2026 májusában frissítve.",{"q":66,"a":67},"Kell-e API-kulcs az Ollamához?","Helyi kiszolgálóhoz nem. A helyi példánynak egyáltalán nincs hitelesítése, és az OpenAI-kompatibilis végpont is megköveteli a kulcs értékét, majd figyelmen kívül hagyja, szóval bármilyen helykitöltő megfelel. A https:\u002F\u002Follama.com felhős kérésehez kell kulcs, és az ollama signin paranccsal bejelentkezett helyi kiszolgáló is továbbíthat a felhős modellekhez.",{"q":69,"a":70},"Hogyan szolgálok ki egyszerre egynél több kérést?","Állítsa be az OLLAMA_NUM_PARALLEL értékét, amely alapértelmezés szerint 1. A memória a párhuzamos kérések száma szorozva a kontextushosszal nő, és a kontextusablak meg van osztva közöttük, így négy párhuzamos kérés egy 2000 tokenes kontextuson úgy viselkedik, mint egy 8000 tokenes. A határon felüli kérések sorba állnak, az OLLAMA_MAX_QUEUE határáig, amely alapértelmezés szerint 512, utána 503 érkezik.",{"q":72,"a":73},"Gyorsabb az Ollama, mint a vLLM?","Nem, és nem is törekszik rá. Az Ollama modellenként egy kérést szolgál ki alapértelmezés szerint, a párhuzamos kéréseket közös kontextusba batchingeli független helyett, és nincs több csomópontos párhuzamossága. Interaktív használatnál néhány egyidejű hívóval a különbség kicsi; batch átvitelben GPU-nként ez az egész döntés.",[75,78,81,84,87,90,93,96],{"id":76,"title":77},"what-it-is","Mi ez valójában",{"id":79,"title":80},"how-it-works","Hogyan működik",{"id":82,"title":83},"getting-started","Első lépések",{"id":85,"title":86},"licence","A licenc – és a záradek, ami nincs benne",{"id":88,"title":89},"production","Üzemeltetés productionben",{"id":91,"title":92},"where-it-shingles","Hol csúszik meg",{"id":94,"title":95},"verdict","Ítélet",{"id":97,"title":98},"sources","Források",[100,104,107,110,113,153,154,157,163,166,167,170,173,176,205,206,209,212,229,234,235,238,307,310,320,325,326,329,391,394,397,398,401,425,429,430],{"type":101,"content":102},"paragraph",[103],"Az Ollama helyi futtatókörnyezet. Letölti a nyílt súlyú modelleket, elhelyezi a rendelkezésre álló GPU-n vagy CPU-n, és egyetlen HTTP API-n keresztül szolgálja ki őket a 11434-es porton. A gyártó havi kilencmilliónál több telepítést, egymilliárdnál több modellletöltést és 182 000 GitHub-csillagot jelent – és ez a hatóereje megmagyarázható: ez a legkevesebb húzással járó út, hogy egy nyílt modell válaszoljon. A csere ugyanebben a számokban van. Az Ollama egy modell elindítására optimalizál, nem egy GPU-ből kinyerhető tokenekre, és aki termelési inferenciakiszolgálónak tekinti, az ezt meg fogja érezni.",{"type":101,"content":105},[106],"A stackben modellkiszolgáló, nem keretrendszer. Helyettesíti a llama.cpp saját szerverét, az LM Studio futtatókörnyezetét és egy kézzel összerakott Docker image-et – és a vLLM-mel csak a lehető leglazább értelemben verseng. fölötte LangChain, LlamaIndex, a kódoló ügynökök és a saját hosztolású csevegőfelületek találhatók; az, hogy Ollama mindegyikkel felcserélhető, az API-jának alakjából ered, nem abból, ami a belsejében történik. Amit nem nyújt: orkestrálás, folyamatos batching, autoskálázás vagy több csomópontos tenzorparalellizmus. Azok továbbra is a vLLM vagy az SGLang területe.",{"type":108,"level":109,"id":76,"text":77},"heading",2,{"type":101,"content":111},[112],"Az Ollama egy Go nyelvű szerver egy beépített modellkezelővel, nem maga a modell. Egyetlen binárisfájlként, egy CLI-vel és egy Docker image-ként érkezik, és a CLI az a teljes felület, amelyet az emberek többsége valaha érint. Az alatta futó engine-ek a llama.cpp CUDA, ROCm, Vulkan és CPU módokra, valamint – a v0.40.0 óta – az MLX Apple Siliconon alapértelmezés szerint a támogatott architektúrákra. minden más ezek köré csomagolás, és pont ezért érdemes tudni, hol húzódik a határ.",{"type":114,"ordered":115,"items":116},"list",false,[117,123,128,133,138,143,148],[118,122],{"tag":119,"children":120},"strong",[121],"Licenc:"," MIT a szoftverre, használati korlátozás, felhasználói küszöb és kiegészítő záradek nélkül.",[124,127],{"tag":119,"children":125},[126],"Jelenlegi kiadás:"," v0.40.0, platformbinárisokkal és Docker image-mel. A tempó gyors, de a számok ugranak: a v0.34.4 után jött a v0.35.1, majd egyenesen a v0.40.0.",[129,132],{"tag":119,"children":130},[131],"API-k:"," natív REST felület az \u002Fapi alatt, OpenAI-kompatibilis felület a \u002Fv1 alatt és Anthropic-kompatibilis alap-URL, a helyi kiszolgálón és az Ollama Cloudon egyaránt.",[134,137],{"tag":119,"children":135},[136],"Engine-ek:"," llama.cpp CUDA, ROCm, Vulkan és CPU módokra, plusz MLX Apple Siliconon a v0.40.0-tól. Az Nvidia 5.0 vagy újabb compute capabilityt, az AMD Linuxon ROCm v7 illesztőprogramot igényel.",[139,142],{"tag":119,"children":140},[141],"Modellformátum:"," GGUF a llama.cpp modellekhez, safetensors az MLX-hez. A v0.34.1 óta a GGUF-konverziót llama.cpp eszközökkel kell elvégezni, nem Ollamán belül.",[144,147],{"tag":119,"children":145},[146],"Testreszabás:"," egy Modelfile FROM, PARAMETER, TEMPLATE, SYSTEM, MESSAGE, LICENSE, REQUIRES és CAPABILITY kulcsokkal, így egy finomított modell átnézhető szövegfájl.",[149,152],{"tag":119,"children":150},[151],"A csomagban továbbá:"," strukturált kimenet JSON-sémához, eszközhívás, látvány, beágyazások, webes keresés, kísérleti képgenerálás macOS-en, illetve döntési modellek, amelyek szöveg helyett valószínűségeket adnak vissza.",{"type":108,"level":109,"id":79,"text":80},{"type":101,"content":155},[156],"A középpontban egy HTTP-kiszolgáló áll, amely egy modellkönyvtárat és VRAM-tudatos ütemezőt birtokol. A kérés megnevez egy modell-címkét; ha a súlyok még nincsenek betöltve, a kiszolgáló betölti őket, ha pedig nem férnek a már betöltött mellé, a kérés sorba áll, miközben egy üresen álló modell kilép. A betöltött modellek az utolsó kérés után öt percen át maradnak bent, a kontextushosszt a gép VRAM-osztálya határozza meg, és az egy modellre érkező párhuzamos kérések megosztják annak kontextusát, ahelyett hogy mindegyik sajátot kapna.",{"type":158,"src":159,"alt":160,"wide":161,"caption":162},"image","\u002Fimages\u002Fblog\u002Follama\u002Fdiagram-7.webp","Egy kérés útjának végigvezetése az Ollama kiszolgálón Egy kérés érkezik az \u002Fapi\u002Fchat végpontra egy modell-címkét megnevezve. Az ütemező ellenőrzi a jelentett VRAM-ot. Ha a súlyok már bent vannak, a generálás azonnal indul; egyébként a kérés sorba áll, a súlyok betöltődnek a VRAM-ba, és a kérés újrapróbálkozik. A generálás után a modell a keep_alive ablakban üresen áll, alapértelmezés szerint öt percig, majd kilép, és a VRAM-ja felszabadul.",true,"Egy kérés teljes életciklusa: egy VRAM-ellenőrzés, azonnali indítás, ha a súlyok bent vannak, különben várakozás és betöltés, majd egy üresjárási ablak, amely a kilépéssel zárul.",{"type":101,"content":164},[165],"Ennek a kialakításnak van egy következménye, amely meglep: a modell az ütemezés és a költség egysége. A címke váltása terhelés alatt egy betöltést, egy VRAM-ellenőrzést jelent, és egyetlen GPU-s gépen akár azt is, hogy kilép az, ami épp mindenkinek válaszolt. Az Ollama válasza az OLLAMA_MAX_LOADED_MODELS és az OLLAMA_NUM_PARALLEL, és mindkettőt memóriával fizetjük, nem számítási kapacitással.",{"type":108,"level":109,"id":82,"text":83},{"type":101,"content":168},[169],"A telepítés egy shell-szkript, egy asztali alkalmazás vagy egy Docker image. Az API egyetlen POST, és a helyi kiszolgálóhoz sem kulcs, sem konfigurációs fájl nem kell. Az alábbi részlet a legkisebb, amit productionben érdemes leírni: egy streamelt hívás explicit kontextusablakkal, egy hívások között rezidensen tartott modellel, és azokkal az időzítési mezőkkel, amelyeket a kiszolgáló eleve kiszámít.",{"type":171,"code":172},"code","import json, urllib.request, time\n\nURL = \"http:\u002F\u002Flocalhost:11434\u002Fapi\u002Fchat\"\nBODY = {\n    \"model\": \"gemma4\",\n    \"messages\": [{\"role\": \"user\", \"content\": \"Summarise this ticket in one line.\"}],\n    \"stream\": True,\n    \"keep_alive\": \"30m\",              # keep the weights resident between calls\n    \"options\": {\"num_ctx\": 8192, \"temperature\": 0},\n}\n\nrequest = urllib.request.Request(\n    URL, data=json.dumps(BODY).encode(), headers={\"Content-Type\": \"application\u002Fjson\"})\n\nchunks = []\nwith urllib.request.urlopen(request) as response:\n    for line in response:                       # newline-delimited JSON events\n        event = json.loads(line)\n        if \"message\" in event:\n            chunks.append(event[\"message\"].get(\"content\", \"\"))\n        if event.get(\"done\"):\n            seconds = event[\"eval_duration\"] \u002F 1e9   # nanoseconds\n            print(f\"{event['eval_count']} tokens in {seconds:.1f}s\"\n                  f\" -> {event['eval_count'] \u002F seconds:.1f} tok\u002Fs\")\n            print(f\"prompt tokens {event['prompt_eval_count']}, cached\"\n                  f\" {event.get('prompt_eval_cached_count', 0)},\"\n                  f\" load {event['load_duration'] \u002F 1e9:.1f}s\")\n\nprint(\"\".join(chunks))",{"type":101,"content":174},[175],"Két mezőt érdemes egy dashboardra kötni: az eval_count és az eval_duration hányadosát a generálási sebességhez, a load_duration értékét a hidegindítási büntetéshez. A prompt_eval_cached_count jelzi, hány prompt-token jött a gyorsítótárból – ez az Ollama egyetlen ingyenes gyorsítása. A prompt stabil prefixét tegye előre, a változó részt hátra, és a közös rendszerprompt nem értékelődik ki újra minden hívásnál.",{"type":177,"variant":178,"body":179},"callout","tip",[180],[181,182,184,185,188,189,192,193,196,197,200,201,204],"Ha a hívó kód már beszél az OpenAI-val, állítsa a base_url értékét http:\u002F\u002Flocalhost:11434\u002Fv1\u002F címre, és hagyja a kulcsot ",{"tag":171,"children":183},[4]," értéken – a kiszolgáló figyelmen kívül hagyja. A kompatibilis felület lefedi a chatet, a streaminget, a JSON-módot, az eszközöket és a látványt, de nem a logprobs-ot, a ",{"tag":171,"children":186},[187],"tool_choice"," mezőt, a ",{"tag":171,"children":190},[191],"logit_bias"," mezőt vagy a kép-URL-eket. A natív ",{"tag":171,"children":194},[195],"\u002Fapi\u002Fchat"," végpont jóval régebben hordoz ",{"tag":171,"children":198},[199],"logprobs"," és ",{"tag":171,"children":202},[203],"top_logprobs"," értéket, és ez az oka, hogy ezt kell előnyben részesíteni, amikor a tokenvalószínűségek számítanak.",{"type":108,"level":109,"id":85,"text":86},{"type":101,"content":207},[208],"Az Ollama szoftvere MIT-licencelt, minden további nélkül. Az ollama\u002Follama repository LICENSE fájlja a módosítatlan MIT-szöveg: nincs kiegészítő záradek, nincs felhasználói küszöb, nincs használati korlátozás. Nincs benne OpenAI-záradek, és nincs benne 700 millió havi aktív felhasználói határ sem – és ezt érdemes is kimondani, mert az állítás széles körben elterjedt. A 700 milliós küszöb a Meta Llama Community Licence-éhez tartozik, és a Llama súlyokra vonatkozik, nem arra a futtatókörnyezetre, amely kiszolgálja őket. Az Ollama fizetett felhőcsomagokból is bevételt szerez, és 2026 júliusában 65 millió dolláros befektetési kört is kapott, és egyik sem tesz záradékot a forráslicencbe.",{"type":101,"content":210},[211],"Az MIT-engedély a szerver bináris fájljára vonatkozik. Arról, hogy milyen modelleket futtatnak rajta, semmit nem mond, és épp itt van a valódi licenckitettség. A könyvtár egy tucat kiadótól származó súlyokat szolgál ki egy tucat feltétellel – a kötő erejű licenc a modellkártyán áll, nem a futtatókörnyezeten. Egy Modelfile a súlyok mellett egy LICENSE utasítást is tárol, és az ollama show --modelfile kiírja – ez a karakterlánc, modellverenként, az aartefaktum, amelyet a megfelelési nyilvántartásban kell tartani.",{"type":114,"ordered":115,"items":213},[214,219,224],[215,218],{"tag":119,"children":216},[217],"MIT a futtatókörnyezeten. ","Használható üzleti célra, forkolható, beágyazható egy termékbe. A szerzői jogi megjegyzés megtartásán túl nincs megnevezési kötelezettség, nincs bevételi küszöb, nincs felhasználói küszöb, nincs telemetriai kötelezettség.",[220,223],{"tag":119,"children":221},[222],"A modelllicenc különálló. ","A Meta Llama Community Licence 700 millió havi aktív felhasználó felett külön licencet kér a Metától, más családok saját bevételi vagy felhasználói plafont írnak elő. Egyes modellek nem kereskedelmi feltételekkel érkeznek. Olvassa el a modellkártyát.",[225,228],{"tag":119,"children":226},[227],"Az ollama.com maga nem MIT. ","A hosztolt felhő, a könyvtárfiókok és a fizetős csomagok a Felhasználási feltételek hatálya alá tartoznak, utoljára 2026 májusában frissítve: kötelező arbitráció San Franciscóban, kaliforniai jog, felelősségi korlát az előző tizenkét hónapban fizetett összegek mértékéig, valamint egy záradek, amely megtiltja a szolgáltatás használatát versenytárs termékek fejlesztésére.",{"type":177,"variant":230,"body":231},"warn",[232],[233],"A pull valaki másik regiszteréből való letöltés a saját lemezére, és az a regiszter nem tartozik az MIT-engedély hatókörébe. A modelljóváhagyási folyamattal működő csapatok tükrözzék a tényleg használt GGUF-fájlokat olyan regiszterbe, amelyet maguk felügyelnek, mert egy címke változó név, és az ollama pull követi. Rögzítse a verziót, jegyezze fel a licencet, és tartsa meg a szállított fájl lenyomatát.",{"type":108,"level":109,"id":88,"text":89},{"type":101,"content":236},[237],"A párhuzamosság az a pont, ahol a helyi futtatókörnyezetek őszinték a korlátaikról. Az Ollama modellenként egy kérést dolgoz fel alapértelmezés szerint, és a párhuzamos kérések megosztják a kontextust ahelyett, hogy függetlenül batchingelnének: ezt a dokumentáció ki is mondja, egy 2000 tokenes kontextus négy párhuzamos kéréssel úgy viselkedik, mint egy 8000 tokenes, és a szükséges RAM párhuzamos kérések száma szorozva a kontextushosszal nő. Ez interaktív használatra meglevő csere, batch munkára rossz.",{"type":239,"head":240,"rows":247},"table",[241,243,245],[242],"Beállítás",[244],"Alapérték",[246],"Mibe kerül",[248,259,268,279,296],[249,253,257],[250],{"tag":171,"children":251},[252],"OLLAMA_NUM_PARALLEL",[254],{"tag":171,"children":255},[256],"1",[258],"a RAM lineárisan nő; egy közös kontextus",[260,264,266],[261],{"tag":171,"children":262},[263],"OLLAMA_MAX_LOADED_MODELS",[265],"3 GPU-nként, 3 CPU-n",[267],"a teljes VRAM minden rezidens modellhez",[269,273,277],[270],{"tag":171,"children":271},[272],"OLLAMA_MAX_QUEUE",[274],{"tag":171,"children":275},[276],"512",[278],"a sor mélysége, mielőtt a kérések 503-at kapnak",[280,284,286],[281],{"tag":171,"children":282},[283],"OLLAMA_KEEP_ALIVE",[285],"5 perc",[287,288,291,292,295],"a VRAM üresen is foglalva; ",{"tag":171,"children":289},[290],"-1"," rögzíti, ",{"tag":171,"children":293},[294],"0"," azonnal kiléptet",[297,301,305],[298],{"tag":171,"children":299},[300],"OLLAMA_KV_CACHE_TYPE",[302],{"tag":171,"children":303},[304],"f16",[306],"a q8_0 felezi, a q4_0 negyedeli, pontosságvesztéssel",{"type":101,"content":308},[309],"A kiszolgálónak nincs hitelesítése. Alapértelmezés szerint a 127.0.0.1 címre köt, és az OpenAI-kompatibilis végpont megköveteli az API-kulcs értékét, majd figyelmen kívül hagyja – ez pontosan kimondja, mennyire bízik a helyi felület. Ami az OLLAMA_HOST értékét útvonalozható címre állítja, hitelesítés nélküli inferenciavégpontot tesz közzé. 2026 januárjában kutatók mintegy 175 000 nyilvánosan elérhető Ollama-kiszolgálóról számoltak be 130 országból, ezek többsége a 0.0.0.0 címre kötés miatt volt kitett.",{"type":114,"ordered":115,"items":311},[312,314,316,318],[313],"Hagyja a kötési címet a 127.0.0.1 címen. Nincs konfigurálható hitelesítés, így az egyetlen elérhető hozzáférés-szabályozás a TLS-t használó visszaforduló proxy valódi hozzáférési ellenőrzéssel.",[315],"Állítsa be az OLLAMA_ORIGINS értékét, ha böngészős kliens kell hozzá. A loopback eredetek alapértelmezés szerint engedélyezettek, tehát a helyi eszközökhöz jó az alapérték, a megosztott használathoz rossz.",[317],"Azokon a gépeken, amelyek egyáltalán nem érhetik el az ollama.com-ot, állítsa be az OLLAMA_NO_CLOUD=1 értéket vagy a disable_ollama_cloud mezőt a ~\u002F.ollama\u002Fserver.json fájlban, indítsa újra, és ellenőrizze az Ollama cloud disabled: true naplósort.",[319],"Tartsa szem előtt, hogy az asztali alkalmazás macOS-en és Windowson belépési elemként regisztrálja magát, tehát a 11434-es port már rendszerindításkor szolgál, függetlenül attól, kérte-e valaki.",{"type":177,"variant":321,"body":322},"note",[323],[324],"Az Ollama Cloud más termék, mint a helyi futtatókörnyezet, és az árazási oldal jóval meghaladta az ingyenes szintet. A felhős modellek usage-kreditből, millió tokenenként számolnak – a gemma4-nál $0,14 bemenet és $0,40 kimenet, a gpt-oss:20b-nál $0,07 és $0,30 –, csúcsidőn kívüli árakkal a hétköznapokon 12:00 és 18:00 UTC közötti időn kívül, valamint a hétvégén egész nap. A Pro havi $20, $60 kreditet és három párhuzamos kérést tartalmaz, a Max $100, $300 és tíz kérést, a Team korai hozzáféréssel $500, a saját hardveren futó modellek pedig minden csomagban korlátlanul és ingyen futnak.",{"type":108,"level":109,"id":91,"text":92},{"type":101,"content":327},[328],"A gyengeségei valósak, és egy helyen csoportosulnak: az egy GPU-ra jutó átviteli sebesség. Alapértelmezés szerint egy kérés modellenként, nincs a párhuzamos kérések független batchingje, nincs több csomópontos párhuzamosság és nincs tenzorparalell kiszolgálási út. Egy interaktív végpontnál néhány felhasználóval ez láthatatlan. Bármihez, aminek van sora, batch feladata vagy költségcélja, már nem: ugyanaz a GPU a vLLM eredményének töredékét adja ugyanazzal a modellel, és ez a rés nem konfigurációs probléma. Ez a design.",{"type":239,"head":330,"rows":339},[331,333,335,337],[332],"",[334],"Ollama",[336],"vLLM",[338],"llama.cpp szerver",[340,349,357,365,374,383],[341,343,345,347],[342],"Telepítés",[344],"szkript, app, image",[346],"pip, konténer",[348],"bináris vagy build",[350,352,354,356],[351],"Átvitel GPU-nként",[353],"alacsony-tól közepesig",[355],"magas",[353],[358,360,362,364],[359],"Független batching",[361],"nem",[363],"igen",[361],[366,368,370,372],[367],"Hardverlefedettség",[369],"CUDA, ROCm, Vulkan, Metal, CPU",[371],"CUDA, ROCm",[373],"CUDA, Vulkan, Metal, CPU",[375,377,379,381],[376],"Üzemeltetési felület",[378],"egy kiszolgáló, env-változók",[380],"flagek, metrikák, fürt",[382],"egy bináris, flagek",[384,386,388,390],[385],"Licenc",[387],"MIT",[389],"Apache 2.0",[387],{"type":101,"content":392},[393],"Az LM Studio-hoz képesti összehasonlítás szoros, és valójában csomagolási kérdés: az LM Studióban van GUI és modellböngésző, az Ollamában CLI, Docker image és első osztályú headless használat, és az Ollama API-alakja körül nőtt fel az Open WebUI ökoszisztémája. A llama.cpp saját szerveréhez képest a különbség a modellkezelő és az ütemező, ami egy csapatnak sokat ér, annak aki már ismeri a llama.cpp-t semmit. A vLLM-hez képest a különbség maga az üzleti érvelés: ha a kérdés az, hogyan szolgáljuk ki ezt kiszámítható költséggel, akkor a vLLM vagy az SGLang az eszköz, az Ollama pedig az a fejlesztői környezet, amelyben prototípus készül.",{"type":101,"content":395},[396],"A másik mérlegelendő szempont az irány. Az Ollama Cloud ma Pro, Max és Team csomagokat, tokenenkénti modellárazást és vállalatoknak szánt modell-hozzáférés-szabályozást kínál, vagyis a projekt a futtatókörnyezet mellett kereskedelmi inferenciaszolgáltató is. Ez finanszírozza a kiadási tempót, és nem minőségi észrevétel. De azt jelenti, hogy a súlypont eltolódik attól, hogy egy modellt a saját gépén futtat, afelé, hogy bejelentkezik és egy nagyobbat használ – és az a csapat, amely a helyi inferenciára támaszkodik, birtokolja a verziót, a modell-pin-eket és az artefaktumokat, ne pedig feltételezze, hogy a felület marad, ahol van.",{"type":108,"level":109,"id":94,"text":95},{"type":101,"content":399},[400],"Az Ollama a legjobb alapértelmezett válasz arra, hogyan futtassunk egy nyílt modellt anélkül, hogy fel kellene vennünk valakit, aki a llama.cpp-t üzemelteti. MIT-licencelt, egyetlen parancsból indul, az API-ja az a kompatibilitási réteg, amelyet szinte minden ügynökkeretrendszer már beszél, és két környezeti változó mögé rejt egy hatalmas mennyiségű GPU-ütemezést. Ami nem, az egy skálázható inferenciaplatforma – és amikor egy kéréssor megjelenik egy dashboardon, ez a jelzése annak, hogy válts, ne hogy hangolj.",{"type":114,"ordered":161,"items":402},[403,408,412,416,421],[404,407],{"tag":119,"children":405},[406],"Használja ","helyi fejlesztéshez, értékelési tesztkörnyezetekhez, CI fixture-ökhöz, olyan on-prem telepítésekhez, ahol néhányan osztoznak egy munkaállomáson, és olyan munkaterhelésekhez, ahol a promptoknak nem szabad elhagyniuk az épületet.",[409,411],{"tag":119,"children":410},[406],"helyi vagy saját hosztolású végpont bekötéséhez egy ügynökkeretrendszerbe, mert az OpenAI-kompatibilis felület feleslegessé teszi a szolgáltató-specifikus klienst.",[413,415],{"tag":119,"children":414},[406],"arra, hogy egy csapat egy délután alatt működő nyílt modell-prototípushoz jusson. Ez valódi üzemeltetési előny, és a legtöbb felhasználó emiatt nem megy el soha.",[417,420],{"tag":119,"children":418},[419],"Ne használja ","terhelés alatti többfelhasználós kiszolgálásra, batch generálásra, vagy bármire, ahol a GPU-nkénti másodpercenkénti tokenek számítanak a projekt értékelésében.",[422,424],{"tag":119,"children":423},[419],"olyan szabályozott környezetekben, amelyek hitelesítést, auditnaplózást vagy az inferenciaréteg alatti ütemezőt igényelnek. Tegyen elé proxyt, vagy használjon másik futtatókörnyezetet.",{"type":177,"variant":321,"body":426},[427],[428],"Egy záró megjegyzés, egyenesen. A „lokálisan fut” és az „MIT-licencelt” két különböző artefaktum tulajdonsága. A futtatókörnyezet MIT-licencelt és átvizsgálható. A súlyok azok, amit a kiadó választott, a regiszter pedig saját feltételek mellett működő hosztolt szolgáltatás – és a megfelelőségi vizsgálat mindhármat külön-külön kell, hogy fedje.",{"type":108,"level":109,"id":97,"text":98},{"type":114,"ordered":161,"items":431},[432,436,439,442,445,448],[433],{"tag":434,"href":28,"children":435},"a",[27],[437],{"tag":434,"href":31,"children":438},[30],[440],{"tag":434,"href":34,"children":441},[33],[443],{"tag":434,"href":37,"children":444},[36],[446],{"tag":434,"href":40,"children":447},[39],[449],{"tag":434,"href":43,"children":450},[42],[452,509,577,638],{"slug":453,"published":454,"minutes":455,"category":7,"tags":456,"keywords":462,"about":476,"sources":484,"cover":503,"og":504,"expertise":46,"locales":505,"lang":50,"title":506,"description":507,"coverAlt":508},"deepseek-v4-1-flash-1017","2026-10-17",15,[457,458,459,460,461],"DeepSeek","Open-weight models","KV cache","Mixture of experts","LLM cost",[463,464,465,466,467,468,469,470,471,472,473,474,475],"DeepSeek V4.1 Flash 1017","DeepSeek V4.1 Flash","Causal Encoder-Decoder","Compressed Sparse Attention 2","CSA2","FP4 KV cache","KV cache compression","SWA Bounded Replay","Engram conditional memory","DSpark speculative decoding","DeepSeek pricing","DeepSWE benchmark","open-weight coding model",[477,479,481],{"name":457,"url":478},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FDeepSeek",{"name":460,"url":480},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMixture_of_experts",{"name":482,"url":483},"Transformer (deep learning architecture)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTransformer_(deep_learning_architecture)",[485,488,491,494,497,500],{"title":486,"url":487},"DeepSeek-AI: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (arXiv:2609.19969)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.19969",{"title":489,"url":490},"Hugging Face: deepseek-ai\u002FDeepSeek-V4.1-Flash-1017 model card","https:\u002F\u002Fhuggingface.co\u002Fdeepseek-ai\u002FDeepSeek-V4.1-Flash-1017",{"title":492,"url":493},"OpenRouter: DeepSeek V4.1 Flash 1017, pricing and providers","https:\u002F\u002Fopenrouter.ai\u002Fdeepseek\u002Fdeepseek-v4.1-flash-1017",{"title":495,"url":496},"The Decoder: Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks while once again massively cutting per-task costs","https:\u002F\u002Fthe-decoder.com\u002Fdeepseek-v4-1-flash-1017-beats-larger-rivals-in-agentic-tasks-while-once-again-massively-cutting-per-task-costs\u002F",{"title":498,"url":499},"AI Weekly: DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API","https:\u002F\u002Faiweekly.co\u002Falerts\u002Fdeepseek-opens-v41-flash-1017-weights-and-075-search-api",{"title":501,"url":502},"DeepSeek on X: DeepSeek-V4.1-Flash-1017 announcement","https:\u002F\u002Fx.com\u002Fdeepseek_ai\u002Fstatus\u002F2111375640717033777","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fog.jpg",[48,49,50],"DeepSeek V4.1 Flash 1017: 890 bájt KV-cache tokenenként, és mit nyer ezzel egy ágens","Technikai mélyfúrás a DeepSeek V4.1 Flash 1017-ről: encoder-decoder felosztás, CSA2 cache-megosztás, FP4 KV-cache, benchmarkok és a valós költség ágensfeladatonként.","Balra egy magas, vékony kártyákból álló köteg, egy nyíl, jobbra ugyanezek a kártyák a magasság negyedére préselve.",{"slug":510,"published":454,"minutes":511,"category":7,"tags":512,"keywords":518,"about":530,"sources":540,"cover":571,"og":572,"expertise":46,"locales":573,"lang":50,"title":574,"description":575,"coverAlt":576},"llm-rate-limits-retries-provider-fallback",10,[513,514,515,516,517],"Rate limits","Retries","Fallback","Reliability","LLM gateway",[519,520,521,522,523,524,525,526,527,528,529],"llm rate limit handling","429 too many requests llm api","exponential backoff with jitter","anthropic 529 overloaded error","openai rate limit retry","llm provider fallback","litellm fallbacks","retry-after header","llm circuit breaker","multi provider llm failover","claude api rate limits",[531,534,537],{"name":532,"url":533},"Token bucket","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FToken_bucket",{"name":535,"url":536},"Exponential backoff","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FExponential_backoff",{"name":538,"url":539},"Circuit breaker design pattern","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCircuit_breaker_design_pattern",[541,544,547,550,553,556,559,562,565,568],{"title":542,"url":543},"Claude Platform Docs: Rate limits","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Frate-limits",{"title":545,"url":546},"Claude Platform Docs: API errors","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Ferrors",{"title":548,"url":549},"OpenAI API Docs: Rate limits","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Frate-limits",{"title":551,"url":552},"AWS Builders Library: Timeouts, retries and backoff with jitter","https:\u002F\u002Fbuilder.aws.com\u002Fcontent\u002F3EumjoZascWd1oZiEgL8ORlv3qE\u002Ftimeouts-retries-and-backoff-with-jitter",{"title":554,"url":555},"MDN: Retry-After header","https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FRetry-After",{"title":557,"url":558},"Martin Fowler: Circuit Breaker (2014)","https:\u002F\u002Fmartinfowler.com\u002Fbliki\u002FCircuitBreaker.html",{"title":560,"url":561},"LiteLLM Docs: Router, retries and cooldowns","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":563,"url":564},"LiteLLM Docs: Proxy fallbacks and reliability","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Freliability",{"title":566,"url":567},"OpenRouter Docs: Model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":569,"url":570},"AI SDK Docs: Settings (maxRetries, timeout)","https:\u002F\u002Fai-sdk.dev\u002Fdocs\u002Fai-sdk-core\u002Fsettings","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fog.jpg",[48,49,50],"LLM rate limitek élesben: újrapróbálás, backoff és szolgáltatóváltás","Hogyan működnek az LLM rate limitek, mit érdemes újrapróbálni, backoff jitterrel, retry egy rétegben, és fallback-láncok, amelyek nem rontják el a kimenetet.","Kis négyzetek kapaszkodnak három fokon egy széles téglalaphoz, mögötte még kettő sorban.",{"slug":578,"published":454,"minutes":579,"category":7,"tags":580,"keywords":586,"about":597,"sources":607,"cover":632,"og":633,"expertise":46,"locales":634,"lang":50,"title":635,"description":636,"coverAlt":637},"prompt-versioning-management",8,[581,582,583,584,585],"Prompt management","Versioning","LLMOps","Evals","Langfuse",[587,588,589,590,591,592,593,594,595,596],"prompt versioning","prompt management","prompt registry","version control for prompts","langfuse prompt management","mlflow prompt registry","prompts in git","openai prompt object deprecation","prompt rollback production","prompt ci evaluation",[598,601,604],{"name":599,"url":600},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":602,"url":603},"Version control","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FVersion_control",{"name":605,"url":606},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",[608,611,614,617,620,623,626,629],{"title":609,"url":610},"OpenAI API Docs: Migrate from prompt objects","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\u002Fmigrate-from-prompt-object",{"title":612,"url":613},"OpenAI API Docs: Prompt engineering (reusable prompts deprecation note)","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompt-engineering",{"title":615,"url":616},"Langfuse Docs: Prompt version control","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fprompt-version-control",{"title":618,"url":619},"Langfuse Docs: Prompt caching in the SDKs","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fcaching",{"title":621,"url":622},"Langfuse Docs: Link prompts to traces","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Flink-to-traces",{"title":624,"url":625},"MLflow Docs: Prompt Registry","https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002F",{"title":627,"url":628},"Promptfoo Docs: GitHub Action","https:\u002F\u002Fwww.promptfoo.dev\u002Fdocs\u002Fintegrations\u002Fgithub-action\u002F",{"title":630,"url":631},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fog.jpg",[48,49,50],"Promptverziózás élesben: git, registry, címkék és visszaállítás","Promptok verziózása élesben: mi tartozik egy verzióhoz, git vagy prompt registry, címkék és visszaállítás, eval-kapu a CI-ban és a cache-re gyakorolt hatás.","Öt álló kártya sorban, a harmadik íves nyíllal visszafordul, a kapu az utolsó előtt áll.",{"slug":639,"published":454,"minutes":640,"category":7,"tags":641,"keywords":646,"about":657,"sources":667,"cover":688,"og":689,"expertise":46,"locales":690,"lang":50,"title":691,"description":692,"coverAlt":693},"llm-batch-api-offline-workloads",9,[642,643,583,644,645],"Batch API","Cost","Prompt caching","Data pipelines",[647,648,649,650,651,652,653,654,655,656],"llm batch api","anthropic message batches api","openai batch api","gemini batch mode","batch inference llm cost","batch api 50 percent discount","openai flex processing","bedrock batch inference","llm offline processing","batch api prompt caching",[658,661,664],{"name":659,"url":660},"Batch processing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBatch_processing",{"name":662,"url":663},"JSON Lines","https:\u002F\u002Fjsonlines.org\u002F",{"name":665,"url":666},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[668,671,673,674,677,680,682,685],{"title":669,"url":670},"Claude Platform Docs: Batch processing","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fbatch-processing",{"title":672,"url":543},"Claude Platform Docs: Rate limits (Message Batches API)",{"title":630,"url":631},{"title":675,"url":676},"OpenAI API Docs: Batch API","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fbatch",{"title":678,"url":679},"OpenAI API Docs: Flex processing","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fflex-processing",{"title":681,"url":549},"OpenAI API Docs: Rate limits (batch queue limits)",{"title":683,"url":684},"Google AI for Developers: Gemini Batch API","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fbatch-api",{"title":686,"url":687},"Amazon Bedrock User Guide: Batch inference","https:\u002F\u002Fdocs.aws.amazon.com\u002Fbedrock\u002Flatest\u002Fuserguide\u002Fbatch-inference.html","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fog.jpg",[48,49,50],"LLM batch API-k: félárú inferencia olyan munkára, amely várhat","Mikor érdemes az Anthropic, OpenAI és Gemini batch API-ját használni, hogyan működnek a limitek, a párosítás és a hibák, és hogyan adódnak össze a kedvezmények.","Széles doboz nyolc kis négyzettel, balról érkeznek, egy hosszú nyíl visszatér.",1792261159076]