[{"data":1,"prerenderedAt":756},["ShallowReactive",2],{"blog-llama-cpp-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":22,"sources":34,"cover":76,"og":77,"expertise":78,"locales":79,"lang":82,"title":83,"description":84,"coverAlt":85,"metaTitle":86,"takeaways":87,"faq":93,"toc":106,"blocks":133,"others":516},"llama-cpp","2026-10-05",8,"llmops",[9,10,11,12,13],"llama.cpp","GGUF","Quantisation","Local inference","llama-server",[9,15,16,17,18,19,20,21],"llama.cpp review","GGUF quantisation levels","llama-server OpenAI compatible","llama.cpp vs Ollama","run LLM locally GDPR","llama.cpp CUDA Metal Vulkan","Q4_K_M vs Q8_0",[23,25,28,31],{"name":9,"url":24},"https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp",{"name":26,"url":27},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",{"name":29,"url":30},"Quantization (signal processing)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FQuantization_(signal_processing)",{"name":32,"url":33},"General Data Protection Regulation","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FGeneral_Data_Protection_Regulation",[35,37,40,43,46,49,52,55,58,61,64,67,70,73],{"title":36,"url":24},"llama.cpp repository: goals, backends, licence",{"title":38,"url":39},"llama.cpp releases: builds b11538 to b11541","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Freleases",{"title":41,"url":42},"llama.cpp build documentation: CMake flags","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Fdocs\u002Fbuild.md",{"title":44,"url":45},"llama.cpp server README: endpoints, slots and grammars","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Ftools\u002Fserver\u002FREADME.md",{"title":47,"url":48},"llama.cpp quantisation README: bits, size and speed","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Ftools\u002Fquantize\u002FREADME.md",{"title":50,"url":51},"GGUF specification in the ggml repository","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fggml\u002Fblob\u002Fmaster\u002Fdocs\u002Fgguf.md",{"title":53,"url":54},"Performance of llama.cpp on Apple Silicon M-series","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fdiscussions\u002F4167",{"title":56,"url":57},"Performance of llama.cpp on Nvidia CUDA","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fdiscussions\u002F15013",{"title":59,"url":60},"Ollama README: supported backends and REST API","https:\u002F\u002Fgithub.com\u002Follama\u002Follama",{"title":62,"url":63},"LM Studio documentation: app overview","https:\u002F\u002Flmstudio.ai\u002Fdocs\u002Fapp",{"title":65,"url":66},"vLLM README: features, hardware and licence","https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm",{"title":68,"url":69},"vLLM documentation: GGUF support","https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Ffeatures\u002Fquantization\u002Fgguf.html",{"title":71,"url":72},"GDPR Article 28: processor","https:\u002F\u002Fgdpr-info.eu\u002Fart-28-gdpr\u002F",{"title":74,"url":75},"GDPR Article 32: security of processing","https:\u002F\u002Fgdpr-info.eu\u002Fart-32-gdpr\u002F","\u002Fimages\u002Fblog\u002Fllama-cpp\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllama-cpp\u002Fog.jpg","ai-engineer",[80,81,82],"en","de","hu","llama.cpp-teszt: a helyi motor az Ollama és az LM Studio alatt","A llama.cpp tiszta C\u002FC++ motor nyílt modellekhez, Metal, CUDA, Vulkan vagy CPU alatt. A GGUF-kvantálásokról, a llama-serverről és a korlátokról írok.","Széles doboz négy különböző lábakon, lap csúszik be, három négyzet bent.","llama.cpp-teszt: GGUF, kvantálás és a szerver · Balázs Csorba",[88,89,90,91,92],"A llama.cpp az MIT-licencű motor az Ollama és az LM Studio alatt. Közvetlenül akkor használd, ha a modellfájlt, a kvantálást és minden szerverkapcsolót te akarod irányítani.","A GGUF-fájl tartalmazza a súlyokat, a tokenizálót és a metaadatokat. A build-kapcsolók döntik el a háttérmotort, így ugyanaz a fájl fut Metalon, CUDA-n, Vulkanon vagy CPU-n.","A Q4_K_M jó kiindulópont, de a kvantálási táblázat csak a méretet és a sebességet méri, a minőségellenőrzést neked kell elvégezned.","Apple-chipeken a sebesség a memóriasávszélességet követi, de nem egyenesen. Egy csúcskategóriás chip több tucat tokent generál másodpercenként egy 7B-s modellen, egy adatközponti GPU ugyanilyen típusú tesztben nagyjából háromszor gyorsabb.","A helyi következtetés a promptokat a saját hardveredén tartja, ami kivesz egy adatfeldolgozót a következtetési lépésből, de a naplókra, a hozzáférésre és a megőrzésre vonatkozó GDPR-kötelezettségeid megmaradnak.",[94,97,100,103],{"q":95,"a":96},"Ingyenesen használható a llama.cpp kereskedelmi célra?","A projekt MIT-licencű, így licencdíj nélkül használhatod és szállíthatod. A betöltött modellsúlyok saját licencükkel rendelkeznek, amelyek korlátozhatják a kereskedelmi használatot, ezért minden modellkártyát ellenőrizz, mielőtt terméket építesz rá.",{"q":98,"a":99},"Mi a különbség a llama.cpp és az Ollama között?","Az Ollama a támogatott háttérmotorjai között sorolja fel a llama.cppet, és REST API-t ad a modellek futtatásához és kezeléséhez. A llama.cpp maga a motor: te választod ki a GGUF-fájlt, a kvantálást és minden kapcsolót, a binárist pedig te frissíted.",{"q":101,"a":102},"Melyik GGUF-kvantálással érdemes kezdeni?","A Q4_K_M-mel. A kvantálási README egy naiv Q4_K_M-kvantálást mutat példaként. Lépj feljebb Q5_K_M-re vagy Q6_K-ra, ha a saját értékeléseid minőségi hiányosságot mutatnak, mert a sebességi táblázat a minőségről semmit sem mond.",{"q":104,"a":105},"Segít a helyi llama.cpp-szerver a GDPR-megfelelésben?","Segít, mert egyetlen modellszolgáltató sem kapja meg a promptokat, így ez az adatfeldolgozó kiesik a láncból. A hozzáférés-szabályozást, a naplók megőrzését és a jogalapot továbbra is neked kell rendezned. Egy bérelt GPU-host, amely személyes adatokat kezel helyetted, adatfeldolgozó, és a 28. cikk szerinti szerződésre van szüksége.",[107,110,113,116,119,121,124,127,130],{"id":108,"title":109},"what-it-is","Mi ez",{"id":111,"title":112},"how-it-works","Hogyan működik",{"id":114,"title":115},"getting-started","Első lépések",{"id":117,"title":118},"quantisation-and-speed","Kvantálás és sebesség",{"id":13,"title":120},"llama-server: API, slotok és strukturált kimenet",{"id":122,"title":123},"cost-and-deployment","Költség és üzemeltetés",{"id":125,"title":126},"where-it-falls-short","Hol szorul ki",{"id":128,"title":129},"verdict","Ítélet",{"id":131,"title":132},"sources","Források",[134,138,141,144,173,174,177,183,184,187,225,228,231,232,235,299,308,315,318,321,327,328,331,334,337,339,340,376,379,387,393,394,421,422,425,456,457],{"type":135,"content":136},"paragraph",[137],"A llama.cpp az a C- és C++-motor, amely nyílt súlyú nyelvi modelleket futtat olyan hardveren, amelyet te irányítasz. Több barátságosabb helyi eszköz épül rá, köztük az Ollama és az LM Studio. Az ítélet előre: közvetlenül akkor használd, ha te akarod kiválasztani a modellfájlt, a kvantálást és minden szerverkapcsolót, laptopon vagy a saját szervereden. Ne használd, ha egyetlen paranccsal akarsz modelleket letölteni és kezelni, és ne használd egy forgalmas, sok felhasználós GPU-szolgáltatás kiszolgáló rétegeként sem, ahhoz a vLLM a jobb választás.",{"type":139,"level":140,"id":108,"text":109},"heading",2,{"type":135,"content":142},[143],"A projekt célként az LLM- és VLM-következtetést jelöli meg minimális beállítással és korszerű teljesítménnyel, széles hardverskálán. Tiszta C- és C++-megvalósítás, külső függőségek nélkül, a ggml tenzorkönyvtárra épül. A kiadási oldalon látható legújabb build a b11541, amelyet 2026. október 10-én tettek közzé.",{"type":145,"ordered":146,"items":147},"list",false,[148,154,159,163,168],[149,153],{"tag":150,"children":151},"strong",[152],"MIT-licenc"," az egész projektre, így licencdíj nélkül használhatod és szállíthatod.",[155,158],{"tag":150,"children":156},[157],"Háttérmotorok"," Apple Metalhoz, NVIDIA CUDA-hoz, AMD HIP-hez, Vulkanhoz, OpenCL-hez, SYCL-hez és WebGPU-hoz, valamint x86- és ARM-CPU-s kódútvonalak.",[160,162],{"tag":150,"children":161},[13],", OpenAI-kompatibilis HTTP-szerver beépített webes felülettel.",[164,167],{"tag":150,"children":165},[166],"Kvantálás"," 1,5 és 8 bit között, GGUF modellformátummal.",[169,172],{"tag":150,"children":170},[171],"Hugging Face-támogatás"," a -hf kapcsolón keresztül, valamint olyan konvertáló szkriptek, mint a convert_hf_to_gguf.py.",{"type":139,"level":140,"id":111,"text":112},{"type":135,"content":175},[176],"A GGUF-fájl végzi a munka nagy részét. A specifikáció úgy írja le a GGUF-ot, mint fájlformátumot modellek tárolására, a GGML-lel és a GGML-re épülő futtatókörnyezetekkel történő következtetéshez, gyors betöltésre és mentésre tervezve. Minden fájl tartalmaz fejlécet a tenzorok és a metaadatok számlálóival, típusos kulcs-érték metaadatokat, minden tenzor leírását (név, alak, típus és eltolás), valamint a tenzoradatokat, amelyeket igazítási határra töltenek ki. A specifikáció a memóriatérkép-kompatibilitást célként nevezi meg, így az operációs rendszer a súlyokat leképezheti, ahelyett hogy másolná őket. A tokenizáló is a fájlban van, a tokenizer.ggml kulcsok alatt. A specifikáció figyelmeztet, hogy a beágyazott szótár pontatlanabb lehet az eredeti tokenizálónál, ezért konvertálás után ellenőrizd a kimenet minőségét.",{"type":178,"src":179,"alt":180,"wide":181,"caption":182},"image","\u002Fimages\u002Fblog\u002Fllama-cpp\u002Fdiagram-6.webp","Egy GGUF-fájl, egy API A GGUF-fájl súlyokat, tokenizálót és metaadatokat tartalmaz. A llama.cpp betölti, és a build során kiválasztott háttérmotoron futtatja, például Metalon, CUDA-n, Vulkanon vagy CPU-n. A llama-server a modellt OpenAI-kompatibilis API-n keresztül teszi elérhetővé, amelyet bármely OpenAI-kliens meghívhat. Csak a háttérmotor változik a hardverrel, a fájl és az API ugyanaz marad.",true,"Egy GGUF-fájl és egy API: a háttérmotor a hardveredet követi, a felület ugyanaz marad.",{"type":139,"level":140,"id":114,"text":115},{"type":135,"content":185},[186],"A build-dokumentáció macOS-en alapértelmezetten bekapcsolja a Metalt, így egy sima build a Macen már tartalmazza az Apple-háttérmotort. A többi háttérmotorhoz konfiguráláskor kapcsoló kell, ahogy a táblázat mutatja.",{"type":188,"head":189,"rows":196},"table",[190,192,194],[191],"Háttérmotor",[193],"Hardver",[195],"Bekapcsolás",[197,204,211,218],[198,200,202],[199],"Metal",[201],"Apple Silicon",[203],"macOS-en alapértelmezetten be",[205,207,209],[206],"CUDA",[208],"NVIDIA GPU-k",[210],"-DGGML_CUDA=ON",[212,214,216],[213],"Vulkan",[215],"Vulkan-illesztőprogrammal rendelkező GPU-k",[217],"-DGGML_VULKAN=ON",[219,221,223],[220],"CPU",[222],"x86 (AVX2, AVX512, AMX) és ARM (NEON)",[224],"Az alapértelmezett buildben benne van",{"type":226,"code":227},"code","# macOS includes Metal by default; for NVIDIA GPUs use cmake -B build -DGGML_CUDA=ON\ncmake -B build\ncmake --build build --config Release\n.\u002Fbuild\u002Fbin\u002Fllama-server -m models\u002FLlama-3.1-8B-Instruct-Q4_K_M.gguf -c 8192 -np 4 --host 127.0.0.1 --port 8080",{"type":135,"content":229},[230],"Három kapcsoló dönt a legtöbbet. A -m megnevezi a GGUF-fájlt, a -c a kontextusméretet adja meg tokenben (0 a modellben tárolt értéket jelenti), a -np pedig a párhuzamos slotok számát. A szerver alapértelmezetten a 127.0.0.1 címen figyel, így más gépek addig nem érik el, amíg meg nem változtatod a --host kapcsolót.",{"type":139,"level":140,"id":117,"text":118},{"type":135,"content":233},[234],"A kvantálás azt jelenti, hány bitet kap minden súly, és ezt a fájlmérettel és a minőséggel szemben mérlegeled. A _K jelölés a K-kvantokat jelöli, az IQ típusok pedig az I-kvantok, amelyek körülbelül 2 bit\u002Fsúlyig mennek; az IQ1_S a README táblázatában 2,00 bit. A README példaparancsa naiv Q4_K_M-kvantálás alapbeállításokkal, ezért a Q4_K_M ésszerű kiindulópont.",{"type":188,"head":236,"rows":244},[237,238,240,242],[166],[239],"Bit súlyonként",[241],"Méret (GiB)",[243],"Generálás (token\u002Fs)",[245,254,263,272,281,290],[246,248,250,252],[247],"Q2_K",[249],"3,16",[251],"2,95",[253],"79,85",[255,257,259,261],[256],"Q4_K_M",[258],"4,89",[260],"4,58",[262],"71,93",[264,266,268,270],[265],"Q5_K_M",[267],"5,70",[269],"5,33",[271],"67,23",[273,275,277,279],[274],"Q6_K",[276],"6,56",[278],"6,14",[280],"58,67",[282,284,286,288],[283],"Q8_0",[285],"8,50",[287],"7,95",[289],"50,93",[291,293,295,297],[292],"F16",[294],"16,00",[296],"14,96",[298],"29,17",{"type":135,"content":300},[301,302,307],"A táblázatot kompromisszumként olvasd. A méret a bitszámmal csökken, a generálás pedig gyorsabb lesz, ahogy a fájl kisebb lesz, mert minden tokennek újra be kell olvasnia a súlyokat. Az F16 másodpercenként 29,17 tokent generál, szemben a Q4_K_M 71,93-mal, és több mint háromszor annyi memóriát igényel. A README a Llama 3.1 8B modellt méri, de nem írja le, melyik gép adta a számokat, ezért relatív értékekként kezeld őket. A táblázatban nincs minőségoszlop: a README sem perplexitást, sem KL-divergenciát nem közöl. Választás előtt szerintem minden jelöltre ugyanazt az értékelő halmazt kell lefuttatni, ahogy a ",{"tag":303,"to":304,"children":305},"link","\u002Fblog\u002Fllm-evals-for-product-features",[306],"LLM-értékelések termékfunkciókhoz"," című cikkemben leírtam.",{"type":309,"variant":310,"title":311,"body":312},"callout","tip","Egy alapbeállítás, ami megáll",[313],[314],"Kezdd a Q4_K_M-mel. Lépj Q5_K_M-re vagy Q6_K-ra csak akkor, ha az értékeléseid lényeges hiányosságot mutatnak, Q2_K-ra pedig csak akkor, ha a memória kényszeríti rá. A minőségveszteséget mérd, ne feltételezd.",{"type":135,"content":316},[317],"Apple-chipeken a sebesség a memóriasávszélességet követi. Az Apple Silicon-szálban a LLaMA 7B Q4_0 kvantálással az M4 Max másodpercenként 83,06 tokent generál, 546 GB\u002Fs memóriasávszélességgel, az M1 Pro pedig 36,41-et, 200 GB\u002Fs-mal. Az M2 Ultra 94,27-et ér el 800 GB\u002Fs-mal. Az összefüggés nem egyenes: az M1 Pro az M2 Ultra sávszélességének negyedével rendelkezik, és annak kevesebb mint felével fut.",{"type":135,"content":319},[320],"A CUDA-szál a Llama 2 7B Q4_0 kvantálásán mért llama-bench-eredményeket gyűjti: az RTX 4090 másodpercenként 186,21 tokent, a 80 GB-os H100 267,81-et, az RTX 5090 pedig 290,02-t ad. Tervezéshez ez azt jelenti, hogy egy csúcskategóriás Apple-chipen egy felhasználó több tucat tokent kap másodpercenként egy 7B-s modellen, egy adatközponti GPU pedig ugyanilyen típusú tesztben nagyjából háromszor gyorsabb. A modellek és a buildek szálanként eltérnek, ezért nagyságrendekben gondolkodj. Egyik szál sem tesztel szervert egyidejű terhelés alatt, pedig a GPU-szerver ára éppen ott térül meg.",{"type":309,"variant":322,"title":323,"body":324},"note","Mérd azt a buildet, amelyet használsz",[325],[326],"A buildek gyorsan változnak. A kiadási oldalon 2026. október 9-én és 10-én négy build jelent meg. Mérd meg a saját modelloddal, kvantálásoddal és hardvereddel, és a mérés mellé írd fel a build számát.",{"type":139,"level":140,"id":13,"text":120},{"type":135,"content":329},[330],"A llama-server az a pont, ahol a legtöbb alkalmazás találkozik a llama.cpp-vel. OpenAI-kompatibilis útvonalai a \u002Fv1 alatt vannak: chat completions, completions, responses, models és embeddings. A natív útvonalak a tokenizálást, a sablonrenderelést, a slotok állapotát és az állapotellenőrzést fedik le. Létezik Prometheus-kompatibilis metrikavégpont is, de ki van kapcsolva, amíg meg nem adod a --metrics kapcsolót, ami fontos tudni, mielőtt portot tennél közzé.",{"type":135,"content":332},[333],"A párhuzamos slotok így működnek. Ha a -np az alapértelmezett auto értéken van, a slotok egyetlen KV-gyorsítótár-pufferen osztoznak, és a README ezt az üzemmódot alapból bekapcsolja. Így egy hosszú kérés olyan memóriát is használhat, amelyet egy tétlen slot egyébként lefoglalna. A folytonos kötegelés szintén alapból be van kapcsolva. A README dokumentálja a kapcsolót (--kv-unified) és a slotonkénti korlátot (--kv-unified-per-slot), de nem részletezi, hogyan oszlik meg a keret, ha kézzel állítod be a slotok számát. Ezért mérd meg a memóriát, mielőtt több felhasználós szervert méretezel.",{"type":135,"content":335},[336],"A strukturált kimenetnek két útja van. A --json-schema JSON-sémára korlátozza a generálást, a --grammar pedig BNF-szerű nyelvtant fogad el; a README mindkettőt a generálás korlátozásának módjaként írja le. A chat-végpont elfogad json_schema típusú response_format mezőt is, ahogy ez a kérés mutatja.",{"type":226,"code":338},"curl -s http:\u002F\u002F127.0.0.1:8080\u002Fv1\u002Fchat\u002Fcompletions \\\n  -H \"Content-Type: application\u002Fjson\" \\\n  -d '{\"messages\": [{\"role\": \"user\", \"content\": \"Extract the author from: Written by Balázs Csorba.\"}], \"response_format\": {\"type\": \"json_schema\", \"schema\": {\"type\": \"object\", \"properties\": {\"author\": {\"type\": \"string\"}}, \"required\": [\"author\"]}}}'",{"type":139,"level":140,"id":122,"text":123},{"type":188,"head":341,"rows":348},[342,344,346],[343],"Költségtétel",[345],"Amit fizetsz",[347],"Megjegyzés",[349,355,362,369],[350,351,353],[9],[352],"Semmit",[354],"MIT-licenc, nincs használati díj",[356,358,360],[357],"Saját hardver",[359],"Beszerzés és áram",[361],"A memória határozza meg a legnagyobb betölthető modellt és kvantálást",[363,365,367],[364],"Bérelt GPU-szerver",[366],"A szolgáltató díja",[368],"Válassz EU-régiót, és köss adatfeldolgozási szerződést",[370,372,374],[371],"Modellsúlyok",[373],"Az adott modell saját feltételei",[375],"A modellkártya tünteti fel a licencet",{"type":135,"content":377},[378],"Az adatvédelem a helyi következtetés legerősebb érve. Ha a modell a saját hardveredén fut, a promptok, a lekért dokumentumok és a válaszok azon a gépen maradnak, és egyetlen modellszolgáltató sem kapja meg őket, így a következtetési lépésnek nincs adatfeldolgozója. A GDPR 28. cikke szerint az adatfeldolgozó által végzett adatkezelést kötelező erejű szerződésnek kell szabályoznia, amely dokumentált utasításokhoz köti a feldolgozót. Egy bérelt GPU-host, amely helyetted kezel személyes adatokat, adatfeldolgozó, függetlenül attól, hogy hol található, és szüksége van erre a szerződésre.",{"type":135,"content":380},[381,382,386],"A helyi nem jelent automatikusan megfelelőséget. A 32. cikk az adatkezelőktől és adatfeldolgozóktól megfelelő technikai és szervezési intézkedéseket kér, példaként a titkosítást és az álnevesítést említi. Egy llama.cpp-szervernél ezek a beállítások számítanak: a kötési cím (127.0.0.1, kivéve, ha módosítod a --host kapcsolót), az API-kulcs (a --api-key egy vagy több kulcsot fogad el), a metrikavégpont (kikapcsolva, kivéve, ha megadod a --metrics kapcsolót), és a saját naplóid, amelyekre ugyanaz a megőrzési szabály vonatkozik, mint bármely promptarchívumra. A ",{"tag":303,"to":383,"children":384},"\u002Fblog\u002Fgdpr-llm-api-eu-data-residency",[385],"GDPR és az LLM-adatrezidencia"," cikk lefedi a checklista többi részét.",{"type":309,"variant":388,"title":389,"body":390},"warn","A Docker-példa minden felületre köt",[391],[392],"A README Docker-példája a --host 0.0.0.0 kapcsolóval indítja a szervert. Konténerben ez rendben van, mert a portleképezés dönti el, ki éri el. Laptopon viszont az egész hálózatnak kiteszi a szervert, ezért maradj a 127.0.0.1-en, vagy előbb adj meg --api-key kapcsolót.",{"type":139,"level":140,"id":125,"text":126},{"type":145,"ordered":146,"items":395},[396,401,406,411,416],[397,400],{"tag":150,"children":398},[399],"Futtatókörnyezet, nem platform."," Te választod ki a fájlt, a kvantálást, a kontextusméretet és a kapcsolókat, a binárist pedig te frissíted. A tempó is ide tartozik: a kiadási oldalon 2026. október 9-én és 10-én négy build jelent meg.",[402,405],{"tag":150,"children":403},[404],"Nincs modellkezelés."," A GGUF-fájlt magad töltöd le. A -hf kapcsoló letölt egy Hugging Face-tárolót, és alapból Q4_K_M-et vesz, vagy a tár első fájlját, ha ez a kvantálás hiányzik.",[407,410],{"tag":150,"children":408},[409],"Nincs minőségmérés."," A kvantálási táblázat csak a méretet és a sebességet adja, a minőségellenőrzés tehát rád marad.",[412,415],{"tag":150,"children":413},[414],"A párhuzamosság memóriakérdés."," Vannak slotok és folytonos kötegelés, de a benchmark-szálak nem tesztelnek szervert egyidejű terhelés alatt, a README pedig nem részletezi a memória-felosztást kézzel beállított slotszám mellett.",[417,420],{"tag":150,"children":418},[419],"A GGUF a vLLM-ben még nem kész kiszolgálási út."," A vLLM a GGUF-támogatását erősen kísérletinek és nem eléggé optimalizáltnak nevezi, és azt írja, hogy a GGUF egyelőre főleg a memórialábnyom csökkentésére jó.",{"type":139,"level":140,"id":128,"text":129},{"type":135,"content":423},[424],"Válaszd a llama.cpp-t, ha magát a motort akarod, a fájl, a kvantálás és a kapcsolók a te irányításod alatt állnak, és ha az adatok soha nem hagyhatják el a gépet. Saját eszközökhöz és egy kis privát szerverhez jó alap. Annak, aki egyetlen paranccsal akar modellt letölteni és futtatni, nem az első eszköz, és egy forgalmas GPU-szolgáltatás kiszolgáló rétegeként sem jó. Ha a helyi lehetőségek között választasz: az LM Studio Mac-en, Windowson és Linuxon llama.cpp-vel futtat modelleket, Apple Silicon-on pedig az MLX-et is támogatja. Így azoknak való, akik grafikus alkalmazást szeretnének.",{"type":145,"ordered":181,"items":426},[427,432,436,446],[428,431],{"tag":150,"children":429},[430],"Válaszd, ha"," te akarod kiválasztani a GGUF-fájlt, a kvantálást és minden kapcsolót a saját hardveredén.",[433,435],{"tag":150,"children":434},[430]," olyan szervert akarsz, amelyet soronként át tudsz látni, és minden beállítás látszik a saját parancsodban.",[437,440,441,445],{"tag":150,"children":438},[439],"Ne válaszd, ha"," egyetlen paranccsal akarsz modelleket letölteni és kezelni. Ehhez az ",{"tag":303,"to":442,"children":443},"\u002Fblog\u002Follama",[444],"Ollama"," való, amely a llama.cpp-t a támogatott háttérmotorjai között sorolja fel.",[447,450,451,455],{"tag":150,"children":448},[449],"Ne válaszd közös GPU-szolgáltatásra"," sok felhasználóval egyszerre. Előbb a ",{"tag":303,"to":452,"children":453},"\u002Fblog\u002Fvllm",[454],"vLLM","-et mérd meg, mert a magja a PagedAttention és a folytonos kötegelés.",{"type":139,"level":140,"id":131,"text":132},{"type":145,"ordered":146,"items":458},[459,464,468,472,476,480,484,488,492,496,500,504,508,512],[460],{"tag":461,"href":24,"children":462},"a",[463],"llama.cpp-tároló: célok, háttérmotorok, licenc",[465],{"tag":461,"href":39,"children":466},[467],"llama.cpp-kiadások: a b11538–b11541 buildek",[469],{"tag":461,"href":42,"children":470},[471],"llama.cpp build-dokumentáció: CMake-kapcsolók",[473],{"tag":461,"href":45,"children":474},[475],"llama.cpp szerver-README: végpontok, slotok és grammatikák",[477],{"tag":461,"href":48,"children":478},[479],"llama.cpp kvantálási README: bitek, méret és sebesség",[481],{"tag":461,"href":51,"children":482},[483],"GGUF-specifikáció a ggml-tárolóban",[485],{"tag":461,"href":54,"children":486},[487],"A llama.cpp teljesítménye Apple Silicon M-sorozaton",[489],{"tag":461,"href":57,"children":490},[491],"A llama.cpp teljesítménye Nvidia CUDA-n",[493],{"tag":461,"href":60,"children":494},[495],"Ollama README: támogatott háttérmotorok és REST API",[497],{"tag":461,"href":63,"children":498},[499],"LM Studio dokumentáció: az alkalmazás áttekintése",[501],{"tag":461,"href":66,"children":502},[503],"vLLM README: funkciók, hardver és licenc",[505],{"tag":461,"href":69,"children":506},[507],"vLLM dokumentáció: GGUF-támogatás",[509],{"tag":461,"href":72,"children":510},[511],"GDPR 28. cikk: adatfeldolgozó",[513],{"tag":461,"href":75,"children":514},[515],"GDPR 32. cikk: az adatkezelés biztonsága",[517,574,642,702],{"slug":518,"published":519,"minutes":520,"category":7,"tags":521,"keywords":527,"about":541,"sources":549,"cover":568,"og":569,"expertise":78,"locales":570,"lang":82,"title":571,"description":572,"coverAlt":573},"deepseek-v4-1-flash-1017","2026-10-17",15,[522,523,524,525,526],"DeepSeek","Open-weight models","KV cache","Mixture of experts","LLM cost",[528,529,530,531,532,533,534,535,536,537,538,539,540],"DeepSeek V4.1 Flash 1017","DeepSeek V4.1 Flash","Causal Encoder-Decoder","Compressed Sparse Attention 2","CSA2","FP4 KV cache","KV cache compression","SWA Bounded Replay","Engram conditional memory","DSpark speculative decoding","DeepSeek pricing","DeepSWE benchmark","open-weight coding model",[542,544,546],{"name":522,"url":543},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FDeepSeek",{"name":525,"url":545},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMixture_of_experts",{"name":547,"url":548},"Transformer (deep learning architecture)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTransformer_(deep_learning_architecture)",[550,553,556,559,562,565],{"title":551,"url":552},"DeepSeek-AI: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (arXiv:2609.19969)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.19969",{"title":554,"url":555},"Hugging Face: deepseek-ai\u002FDeepSeek-V4.1-Flash-1017 model card","https:\u002F\u002Fhuggingface.co\u002Fdeepseek-ai\u002FDeepSeek-V4.1-Flash-1017",{"title":557,"url":558},"OpenRouter: DeepSeek V4.1 Flash 1017, pricing and providers","https:\u002F\u002Fopenrouter.ai\u002Fdeepseek\u002Fdeepseek-v4.1-flash-1017",{"title":560,"url":561},"The Decoder: Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks while once again massively cutting per-task costs","https:\u002F\u002Fthe-decoder.com\u002Fdeepseek-v4-1-flash-1017-beats-larger-rivals-in-agentic-tasks-while-once-again-massively-cutting-per-task-costs\u002F",{"title":563,"url":564},"AI Weekly: DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API","https:\u002F\u002Faiweekly.co\u002Falerts\u002Fdeepseek-opens-v41-flash-1017-weights-and-075-search-api",{"title":566,"url":567},"DeepSeek on X: DeepSeek-V4.1-Flash-1017 announcement","https:\u002F\u002Fx.com\u002Fdeepseek_ai\u002Fstatus\u002F2111375640717033777","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fog.jpg",[80,81,82],"DeepSeek V4.1 Flash 1017: 890 bájt KV-cache tokenenként, és mit nyer ezzel egy ágens","Technikai mélyfúrás a DeepSeek V4.1 Flash 1017-ről: encoder-decoder felosztás, CSA2 cache-megosztás, FP4 KV-cache, benchmarkok és a valós költség ágensfeladatonként.","Balra egy magas, vékony kártyákból álló köteg, egy nyíl, jobbra ugyanezek a kártyák a magasság negyedére préselve.",{"slug":575,"published":519,"minutes":576,"category":7,"tags":577,"keywords":583,"about":595,"sources":605,"cover":636,"og":637,"expertise":78,"locales":638,"lang":82,"title":639,"description":640,"coverAlt":641},"llm-rate-limits-retries-provider-fallback",10,[578,579,580,581,582],"Rate limits","Retries","Fallback","Reliability","LLM gateway",[584,585,586,587,588,589,590,591,592,593,594],"llm rate limit handling","429 too many requests llm api","exponential backoff with jitter","anthropic 529 overloaded error","openai rate limit retry","llm provider fallback","litellm fallbacks","retry-after header","llm circuit breaker","multi provider llm failover","claude api rate limits",[596,599,602],{"name":597,"url":598},"Token bucket","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FToken_bucket",{"name":600,"url":601},"Exponential backoff","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FExponential_backoff",{"name":603,"url":604},"Circuit breaker design pattern","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCircuit_breaker_design_pattern",[606,609,612,615,618,621,624,627,630,633],{"title":607,"url":608},"Claude Platform Docs: Rate limits","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Frate-limits",{"title":610,"url":611},"Claude Platform Docs: API errors","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Ferrors",{"title":613,"url":614},"OpenAI API Docs: Rate limits","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Frate-limits",{"title":616,"url":617},"AWS Builders Library: Timeouts, retries and backoff with jitter","https:\u002F\u002Fbuilder.aws.com\u002Fcontent\u002F3EumjoZascWd1oZiEgL8ORlv3qE\u002Ftimeouts-retries-and-backoff-with-jitter",{"title":619,"url":620},"MDN: Retry-After header","https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FRetry-After",{"title":622,"url":623},"Martin Fowler: Circuit Breaker (2014)","https:\u002F\u002Fmartinfowler.com\u002Fbliki\u002FCircuitBreaker.html",{"title":625,"url":626},"LiteLLM Docs: Router, retries and cooldowns","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":628,"url":629},"LiteLLM Docs: Proxy fallbacks and reliability","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Freliability",{"title":631,"url":632},"OpenRouter Docs: Model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":634,"url":635},"AI SDK Docs: Settings (maxRetries, timeout)","https:\u002F\u002Fai-sdk.dev\u002Fdocs\u002Fai-sdk-core\u002Fsettings","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fog.jpg",[80,81,82],"LLM rate limitek élesben: újrapróbálás, backoff és szolgáltatóváltás","Hogyan működnek az LLM rate limitek, mit érdemes újrapróbálni, backoff jitterrel, retry egy rétegben, és fallback-láncok, amelyek nem rontják el a kimenetet.","Kis négyzetek kapaszkodnak három fokon egy széles téglalaphoz, mögötte még kettő sorban.",{"slug":643,"published":519,"minutes":6,"category":7,"tags":644,"keywords":650,"about":661,"sources":671,"cover":696,"og":697,"expertise":78,"locales":698,"lang":82,"title":699,"description":700,"coverAlt":701},"prompt-versioning-management",[645,646,647,648,649],"Prompt management","Versioning","LLMOps","Evals","Langfuse",[651,652,653,654,655,656,657,658,659,660],"prompt versioning","prompt management","prompt registry","version control for prompts","langfuse prompt management","mlflow prompt registry","prompts in git","openai prompt object deprecation","prompt rollback production","prompt ci evaluation",[662,665,668],{"name":663,"url":664},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":666,"url":667},"Version control","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FVersion_control",{"name":669,"url":670},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",[672,675,678,681,684,687,690,693],{"title":673,"url":674},"OpenAI API Docs: Migrate from prompt objects","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\u002Fmigrate-from-prompt-object",{"title":676,"url":677},"OpenAI API Docs: Prompt engineering (reusable prompts deprecation note)","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompt-engineering",{"title":679,"url":680},"Langfuse Docs: Prompt version control","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fprompt-version-control",{"title":682,"url":683},"Langfuse Docs: Prompt caching in the SDKs","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fcaching",{"title":685,"url":686},"Langfuse Docs: Link prompts to traces","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Flink-to-traces",{"title":688,"url":689},"MLflow Docs: Prompt Registry","https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002F",{"title":691,"url":692},"Promptfoo Docs: GitHub Action","https:\u002F\u002Fwww.promptfoo.dev\u002Fdocs\u002Fintegrations\u002Fgithub-action\u002F",{"title":694,"url":695},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fog.jpg",[80,81,82],"Promptverziózás élesben: git, registry, címkék és visszaállítás","Promptok verziózása élesben: mi tartozik egy verzióhoz, git vagy prompt registry, címkék és visszaállítás, eval-kapu a CI-ban és a cache-re gyakorolt hatás.","Öt álló kártya sorban, a harmadik íves nyíllal visszafordul, a kapu az utolsó előtt áll.",{"slug":703,"published":519,"minutes":704,"category":7,"tags":705,"keywords":710,"about":721,"sources":729,"cover":750,"og":751,"expertise":78,"locales":752,"lang":82,"title":753,"description":754,"coverAlt":755},"llm-batch-api-offline-workloads",9,[706,707,647,708,709],"Batch API","Cost","Prompt caching","Data pipelines",[711,712,713,714,715,716,717,718,719,720],"llm batch api","anthropic message batches api","openai batch api","gemini batch mode","batch inference llm cost","batch api 50 percent discount","openai flex processing","bedrock batch inference","llm offline processing","batch api prompt caching",[722,725,728],{"name":723,"url":724},"Batch processing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBatch_processing",{"name":726,"url":727},"JSON Lines","https:\u002F\u002Fjsonlines.org\u002F",{"name":26,"url":27},[730,733,735,736,739,742,744,747],{"title":731,"url":732},"Claude Platform Docs: Batch processing","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fbatch-processing",{"title":734,"url":608},"Claude Platform Docs: Rate limits (Message Batches API)",{"title":694,"url":695},{"title":737,"url":738},"OpenAI API Docs: Batch API","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fbatch",{"title":740,"url":741},"OpenAI API Docs: Flex processing","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fflex-processing",{"title":743,"url":614},"OpenAI API Docs: Rate limits (batch queue limits)",{"title":745,"url":746},"Google AI for Developers: Gemini Batch API","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fbatch-api",{"title":748,"url":749},"Amazon Bedrock User Guide: Batch inference","https:\u002F\u002Fdocs.aws.amazon.com\u002Fbedrock\u002Flatest\u002Fuserguide\u002Fbatch-inference.html","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fog.jpg",[80,81,82],"LLM batch API-k: félárú inferencia olyan munkára, amely várhat","Mikor érdemes az Anthropic, OpenAI és Gemini batch API-ját használni, hogyan működnek a limitek, a párosítás és a hibák, és hogyan adódnak össze a kedvezmények.","Széles doboz nyolc kis négyzettel, balról érkeznek, egy hosszú nyíl visszatér.",1792261158923]