[{"data":1,"prerenderedAt":1084},["ShallowReactive",2],{"blog-deepseek-v4-1-flash-1017-hu":3},{"slug":4,"published":5,"minutes":6,"category":7,"tags":8,"keywords":14,"about":28,"sources":36,"cover":55,"og":56,"expertise":57,"locales":58,"lang":61,"title":62,"description":63,"coverAlt":64,"metaTitle":65,"takeaways":66,"faq":72,"toc":85,"blocks":125,"others":827},"deepseek-v4-1-flash-1017","2026-10-17",15,"llmops",[9,10,11,12,13],"DeepSeek","Open-weight models","KV cache","Mixture of experts","LLM cost",[15,16,17,18,19,20,21,22,23,24,25,26,27],"DeepSeek V4.1 Flash 1017","DeepSeek V4.1 Flash","Causal Encoder-Decoder","Compressed Sparse Attention 2","CSA2","FP4 KV cache","KV cache compression","SWA Bounded Replay","Engram conditional memory","DSpark speculative decoding","DeepSeek pricing","DeepSWE benchmark","open-weight coding model",[29,31,33],{"name":9,"url":30},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FDeepSeek",{"name":12,"url":32},"https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMixture_of_experts",{"name":34,"url":35},"Transformer (deep learning architecture)","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTransformer_(deep_learning_architecture)",[37,40,43,46,49,52],{"title":38,"url":39},"DeepSeek-AI: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression (arXiv:2609.19969)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.19969",{"title":41,"url":42},"Hugging Face: deepseek-ai\u002FDeepSeek-V4.1-Flash-1017 model card","https:\u002F\u002Fhuggingface.co\u002Fdeepseek-ai\u002FDeepSeek-V4.1-Flash-1017",{"title":44,"url":45},"OpenRouter: DeepSeek V4.1 Flash 1017, pricing and providers","https:\u002F\u002Fopenrouter.ai\u002Fdeepseek\u002Fdeepseek-v4.1-flash-1017",{"title":47,"url":48},"The Decoder: Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks while once again massively cutting per-task costs","https:\u002F\u002Fthe-decoder.com\u002Fdeepseek-v4-1-flash-1017-beats-larger-rivals-in-agentic-tasks-while-once-again-massively-cutting-per-task-costs\u002F",{"title":50,"url":51},"AI Weekly: DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API","https:\u002F\u002Faiweekly.co\u002Falerts\u002Fdeepseek-opens-v41-flash-1017-weights-and-075-search-api",{"title":53,"url":54},"DeepSeek on X: DeepSeek-V4.1-Flash-1017 announcement","https:\u002F\u002Fx.com\u002Fdeepseek_ai\u002Fstatus\u002F2111375640717033777","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fdeepseek-v4-1-flash-1017\u002Fog.jpg","ai-engineer",[59,60,61],"en","de","hu","DeepSeek V4.1 Flash 1017: 890 bájt KV-cache tokenenként, és mit nyer ezzel egy ágens","Technikai mélyfúrás a DeepSeek V4.1 Flash 1017-ről: encoder-decoder felosztás, CSA2 cache-megosztás, FP4 KV-cache, benchmarkok és a valós költség ágensfeladatonként.","Balra egy magas, vékony kártyákból álló köteg, egy nyíl, jobbra ugyanezek a kártyák a magasság negyedére préselve.","DeepSeek V4.1 Flash 1017 részletesen · Balázs Csorba",[67,68,69,70,71],"A 2026. október 17-én megjelent DeepSeek V4.1 Flash 1017 a V4.1 Flash utótanított frissítése: ugyanaz az 552B paraméteres gerinc, prefillnél 8B, dekódolásnál 16B aktív paraméter, 1M tokenes kontextus, MIT-licencű súlyok.","Az architektúra a KV-cache köré épül: az encoder-decoder felosztás, a rétegek közötti cache-megosztás (CSA2) és az FP4 fő cache tokenenként 890 bájtra viszi le a HBM-ben tartott cache-t, ami nagyjából a V4 Flash negyede.","A DeepSeek saját mérései szerint az 1017 77,0 pontot ér el a DeepSWE v1.1-en (Opus 5: 74,0) és 42,3-at a Terminal-Bench 4.0-n (korábban 31,2), de a HLE-n, a Terminal-Bench 4.0-n és a ProgramBench-en egyértelműen az Opus 5 mögött marad.","Az ár millió tokenenként 0,15 $ bemenet, 0,60 $ kimenet és 0,003 $ cache-olvasás, hétköznap két UTC csúcsidősávban dupla. A cache-találat 50-szer olcsóbb a friss bemenetnél, így a prefix stabilitása dönti el a számlát.","A kiadás elsősorban költségtörténet: a DeepSeek grafikonja szerint egy DeepSWE-feladat valamivel 0,20 $ alatt van, szemben az előző Flash kb. 0,50 $-jával és a zárt csúcsmodellek 2–10 $ feletti árával.",[73,76,79,82],{"q":74,"a":75},"Mi az a DeepSeek V4.1 Flash 1017?","A DeepSeek V4.1 Flash 2026. október 17-i pillanatképe: nyílt súlyú, multimodális mixture-of-experts modell 552B gerincparaméterrel, 196B Engram-memóriaparaméterrel és 1M tokenes kontextussal. A DeepSeek kisebb frissítésnek nevezi: ugyanaz az architektúra, új utótanítás, jobb benchmarkok és rövidebb kimenetek.",{"q":77,"a":78},"Miért 8B paramétert aktivál a bemenetnél, de 16B-t a kimenetnél?","A Causal Encoder-Decoder felépítés miatt. A decoder globális KV-cache-ét az utolsó encoder-rétegből vetítik ki, így a prompt tokenjeinek prefillnél csak a 20 encoder-rétegen kell átfutniuk. A generált tokenek mind a 40 rétegen átmennek. Bemenetnehéz ágensterhelésnél ez majdnem felezi a prefill számítási igényét.",{"q":80,"a":81},"Mennyibe kerül a DeepSeek V4.1 Flash 1017?","Az OpenRouter 2026. október 17-i listája szerint millió bemeneti tokenenként 0,15 $, millió kimeneti tokenenként 0,60 $ és millió cache-elt bemeneti tokenenként 0,003 $. Hétköznap 01:00 és 04:00, valamint 06:00 és 10:00 UTC között mindhárom ár duplázódik.",{"q":83,"a":84},"Futtathatom saját magam a DeepSeek V4.1 Flash 1017-et?","Igen, a súlyok MIT-licenccel elérhetők a Hugging Face-en és a ModelScope-on, az inferenciakóddal együtt. A gyakorlatban ez több GPU-s telepítés: nagyjából 750B paraméter az Engram-táblákkal együtt, amelyeket a DeepSeek saját stackje a hosztmemóriában tart és RDMA-n keresztül előtölt.",[86,89,92,95,98,101,104,107,110,113,116,119,122],{"id":87,"title":88},"at-a-glance","A modell dióhéjban",{"id":90,"title":91},"why-kv-cache","Miért a KV-cache a valódi szűk keresztmetszet",{"id":93,"title":94},"causal-encoder-decoder","Causal Encoder-Decoder: miért csak 8B paramétert használ a prefill",{"id":96,"title":97},"csa2","CSA2: a legtöbb rétegnek nincs saját cache-e",{"id":99,"title":100},"fp4-and-890-bytes","FP4 KV-cache és a 890 bájtos keret",{"id":102,"title":103},"other-components","Engram, DSpark és egymenetes mHC",{"id":105,"title":106},"training","Tanítás: 45T token, ritka figyelem az első lépéstől",{"id":108,"title":109},"what-1017-changes","Mit változtat az 1017-es frissítés",{"id":111,"title":112},"cost-per-task","Az igazi hír: költség feladatonként",{"id":114,"title":115},"using-it","Meghívás és saját üzemeltetés",{"id":117,"title":118},"limitations","Korlátok, amelyekről érdemes tudni",{"id":120,"title":121},"what-i-would-do","Mit kezdenék vele",{"id":123,"title":124},"sources","Források",[126,144,151,158,161,219,220,229,232,233,244,247,254,255,261,264,284,287,330,341,344,347,348,355,366,369,372,373,376,394,397,398,401,408,410,418,433,434,445,452,651,654,660,661,668,678,690,697,698,721,723,736,738,739,759,760,786,794,795],{"type":127,"content":128},"paragraph",[129,130,134,135,139,140,143],"A DeepSeek ma reggel kiadta a ",{"tag":131,"children":132},"strong",[133],"V4.1 Flash 1017","-et: a V4.1 Flash modell dátummal jelölt pillanatképét, amely elérhető a DeepSeek API-n, az ",{"tag":136,"href":45,"children":137},"a",[138],"OpenRouteren"," és MIT-licencű súlyokként a ",{"tag":136,"href":42,"children":141},[142],"Hugging Face-en",". A legtöbb hír egy benchmarkkal nyit: 77,0 a DeepSWE v1.1-en, a Claude Opus 5 előtt. A szám valós, de ez a modell legkevésbé érdekes része.",{"type":127,"content":145},[146,147,150],"Az érdekes rész az alatta lévő architektúra, amelyet a DeepSeek ",{"tag":136,"href":39,"children":148},[149],"V4.1 Flash technikai jelentése"," ír le. Szinte minden tervezési döntés egyetlen kérdésre felel: mennyire lehet kicsi a KV-cache, mielőtt romlik a minőség? A válasz tokenenként 890 bájt. Ez a cikk végigveszi, hogyan jutottak ide, mit tesz hozzá az 1017-es frissítés, mit mondanak és mit nem a benchmarkok, és mennyibe kerül egy ágenst futtatni rajta.",{"type":152,"variant":153,"title":154,"body":155},"callout","note","Két dokumentum, egy modell",[156],[157],"Az architektúra a V4.1 Flash technikai jelentéséből származik (arXiv, 2026. szeptember 17.). Az 1017 modellkártyája a V4.1 Flash kisebb frissítésének nevezi az új kiadást, tehát az architektúra változatlan, a különbség az utótanításban van. Minden, ami kifejezetten az 1017-re vonatkozik, a modellkártyából és a megjelenésről szóló hírekből származik, nem a tanulmányból.",{"type":159,"level":160,"id":87,"text":88},"heading",2,{"type":162,"head":163,"rows":168},"table",[164,166],[165],"Tulajdonság",[167],"Érték",[169,174,179,184,189,194,199,204,209,214],[170,172],[171],"Típus",[173],"Multimodális mixture-of-experts transzformer, szöveg és kép be, szöveg ki",[175,177],[176],"Gerincparaméterek",[178],"552B",[180,182],[181],"Engram-memóriaparaméterek",[183],"196B",[185,187],[186],"Aktív tokenenként",[188],"8B prefillnél, 16B dekódolásnál",[190,192],[191],"Rétegek",[193],"40: 20 rétegű kauzális encoder, 20 rétegű decoder",[195,197],[196],"Szakértők MoE-rétegenként",[198],"1 megosztott, 384 routolt, 6 aktív",[200,202],[201],"Kontextus",[203],"1M token (1 048 576)",[205,207],[206],"Globális KV-cache",[208],"890 bájt tokenenként",[210,212],[211],"Előtanítás",[213],"45T multimodális token",[215,217],[216],"Licenc",[218],"MIT",{"type":159,"level":160,"id":90,"text":91},{"type":127,"content":221},[222,223,228],"Egy kódoló ágens nem úgy viselkedik, mint egy chatbot. Minden körben újraküldi a hosszú, egyre növekvő előzményt, hozzáfűzi az eszközök eredményeit, a modell pedig viszonylag keveset ír. A terhelés bemenetnehéz, és ami drága, az a bemenettel skálázódik: a cache-ből kimaradó tokenek prefill-számítása és a memória, amely ezeknek a tokeneknek a KV-cache-ét tárolja. Ha olvastad a ",{"tag":224,"to":225,"children":226},"link","\u002Fblog\u002Fcontext-rot-compaction-long-running-agents",[227],"context rotról és a compactionről"," szóló cikkemet, ez ugyanannak a problémának az infrastruktúra-oldala.",{"type":127,"content":230},[231],"A DeepSeek V4 már két ágra bontotta a figyelmet: egy csúszóablakos ágra (SWA), amely csak a legutóbbi tokeneket látja és fix memóriát igényel, és egy tömörített globális ágra, amely a teljes kontextust látja. Hosszú szekvenciáknál a globális ág uralja a memóriát, és ennek a GPU-memóriában (HBM) kell lennie. Ráadásul a prefix-újrahasznosításhoz megőrzött cache-ek SSD-n vagy hosztmemóriában élnek, mozgatásuk pedig sávszélességbe kerül. A V4.1 Flash mindhármat támadja: a számítást, a HBM-et és a tartós tárolást.",{"type":159,"level":160,"id":93,"text":94},{"type":127,"content":234},[235,236,239,240,243],"Az első ötlet a YOCO-ból (You Only Cache Once) származik, kibővítve. A 40 réteg egy 20 rétegű ",{"tag":131,"children":237},[238],"kauzális encoderre"," és egy 20 rétegű ",{"tag":131,"children":241},[242],"decoderre"," oszlik. Egy hagyományos transzformerben minden réteg a saját rejtett állapotából számolja a kulcsokat és értékeket. Itt a decoder-rétegek nem: a globális KV-bejegyzéseiket közvetlenül az utolsó encoder-réteg rejtett állapotából vetítik ki, decoder-rétegenként külön tanult vetítéssel.",{"type":127,"content":245},[246],"Ebből fakad az aszimmetrikus paraméterszám. Egy prompt-tokenhez a modellnek csak az encoder-felet kell lefuttatnia, hogy előállítsa az összes globális KV-bejegyzést, amelyet a decoder később olvas, ezért aktivál a prefill tokenenként 8B paramétert. Egy generált tokennek mind a 40 rétegen át kell mennie, így a dekódolás 16B-t aktivál. A tanulmány szerint a prefill komplexitása O(N·L\u002F2) O(N·L) helyett: nagyjából fele annyi számítás minden olyan tokenre, amely nincs a cache-ben. Egy ágenshurokban ez minden eszközeredmény.",{"type":127,"content":248},[249,250,253],"Van egy bökkenő. A csúszóablakos ág továbbra is rétegenként, a réteg saját rejtett állapotából számolja a kulcsokat és értékeket, így a lokális feldolgozás mély marad. A decoder SWA-cache-ének pontos feltöltéséhez ablak × L\u002F2 tokent kellene újra átfuttatni a decoderen. A DeepSeek válasza a ",{"tag":131,"children":251},[252],"Decoder SWA Bounded Replay",": csak az utolsó 128 tokent (az ablakméretet) futtatják újra, és elfogadnak egy közelítő állapotot. A tanulmány szerint a minőségromlás elhanyagolható, és a visszajátszást az utótanítás során szimulálják, hogy a modell megtanuljon együtt élni vele.",{"type":159,"level":160,"id":96,"text":97},{"type":127,"content":256},[257,258,260],"Egy KV-cache három tengely mentén zsugorítható: kisebb bejegyzésekkel (GQA, vagy MLA a megosztott latens vektorával), kevesebb bejegyzéssel a szekvencia mentén (minden m tokent egybe tömörítve), vagy kevesebb másolattal a rétegek között. A ",{"tag":131,"children":259},[18]," a DeepSeek kísérlete arra, hogy mindhármat egyszerre használja. A V4 CSA-jához hasonlóan minden rétegnek van egy könnyű indexelője, amely pontozza a tömörített globális KV-bejegyzéseket, és lekérdezésenként kiválasztja a legjobb 512-t; a lekérdezés ezután erre az 512 bejegyzésre és a saját lokális ablakára figyel.",{"type":127,"content":262},[263],"Az újdonság a rétegek közötti újrahasznosítás. Minden CSA2-réteg statikusan a három mód egyikét kapja:",{"type":265,"ordered":266,"items":267},"list",false,[268,274,279],[269,270,273],"A ",{"tag":131,"children":271},[272],"Full mód"," saját fő KV-t számol, ebből vetíti ki az indexelő kulcsait, és az indexelővel friss top-512 indexeket választ. Ez felel meg egy V4-es CSA-rétegnek.",[269,275,278],{"tag":131,"children":276},[277],"Reindex mód"," az utolsó Full réteg fő KV-ját és indexelőkulcsait használja újra, de saját indexelő-lekérdezést számol, és saját top-512-t választ. A cache közös, a kiválasztás eltérhet.",[269,280,283],{"tag":131,"children":281},[282],"Reuse mód"," a cache-t és a legutóbbi indexeket is átveszi, és egyenesen a ritka figyelemre ugrik. Semmilyen indexelési munka.",{"type":127,"content":285},[286],"Mindhárom módban minden réteg saját lekérdezést és saját csúszóablakos KV-t számol, így a rétegek nem válnak egymás másolataivá. Így néz ki a 40 réteg tényleges elrendezése:",{"type":162,"head":288,"rows":296},[289,291,292,294],[290],"Blokk",[191],[293],"Figyelem",[295],"Elrendezés",[297,306,314,323],[298,300,302,304],[299],"Encoder",[301],"0–1",[303],"csak SWA",[305],"—",[307,308,310,312],[299],[309],"2–19",[311],"CSA2, tömörítés m = 2",[313],"3 hatos csoport: 1 Full + 5 Reuse",[315,317,319,321],[316],"Decoder",[318],"20–23",[320],"CSA2, m = 1",[322],"1 Full + 3 Reuse",[324,325,327,328],[316],[326],"24–39",[320],[329],"4 négyes csoport: 1 Reindex + 3 Reuse",{"type":127,"content":331},[332,333,336,337,340],"Számoljuk össze: a 38 globális figyelmű rétegből csak ",{"tag":131,"children":334},[335],"4"," számol saját fő KV-t, további 4 futtat indexelőt egy közös cache felett, ",{"tag":131,"children":338},[339],"30"," pedig csak újrahasznosít. A decoder egyetlen Full rétege m = 1 tömörítést használ, vagyis a decoder tömörítetlen bejegyzéseket olvas, míg az encoder fél felbontással cache-el. A CSA2 a tömörítőt is egyszerűsíti: a V4 CSA-ja minden tömörített bejegyzést 2m átfedő forrásbejegyzésből és abszolút pozíciós beágyazással épített; a CSA2 elhagyja az átfedést és a pozíciós beágyazást, az indexelőkulcsokat pedig a fő KV vetítésével kapja külön tömörítési út helyett. Kevesebb mozgó alkatrész, gyorsabb tanítás.",{"type":159,"level":342,"text":343},3,"A hierarchikus ritka indexelő",{"type":127,"content":345},[346],"Az újrahasznosítás csökkenti az indexelési menetek számát, de minden megmaradt indexelő továbbra is a teljes látható kontextust pontozza, ami a hosszal lineárisan nő. A decoderben ezért az első Full réteg kettős szerepet kap: a saját top-512-je mellett 8 pozíciós blokkokat pontoz a maximális indexpontszámuk szerint, és megtartja a legjobb 2048 blokkot, ami 16 384 pozíciós jelöltkészlet. A későbbi Reindex rétegek csak ezen belül pontoznak. Rögzített készletméret mellett lekérdezésenkénti költségük konstans lesz, nem lineáris a kontextushosszban. Az utótanításban kerül be, és tanításkor és inferenciakor azonosan működik, így a mélyebb indexelők ugyanazzal a korláttal tanulnak, amellyel később dolgoznak.",{"type":159,"level":160,"id":99,"text":100},{"type":127,"content":349},[350,351,354],"A harmadik emelő a pontosság. A V4 már FP4-et használt az indexelő lekérdezéseihez és kulcsaihoz; a V4.1 Flash a kvantálástudatos tanítást kiterjeszti a ",{"tag":131,"children":352},[353],"fő KV-cache-re",". A formátum E2M1 értékek, 16 csatornánként egy E4M3 skálával, vagyis NVFP4 a második szintű globális skála nélkül. Ezt itt biztonságos elhagyni, mert az értékek korlátosak: RMSNorm és RoPE után az 512 csatornás KV-latens csatornánként nem lépheti túl a √512 ≈ 22,6-ot, tanítás közben a megfigyelt maximum 10 körül volt, a formátum pedig 448 × 6 = 2688-ig ér. A kvantálás RoPE után történik. A csúszóablakos cache FP8-ban marad, mert a tanulmány szerint túl érzékeny a kvantálásra.",{"type":127,"content":356},[357,358,361,362,365],"A három emelő együtt a globális cache-t, vagyis azt a részt, amelynek a HBM-ben kell maradnia, ",{"tag":131,"children":359},[360],"tokenenként 890 bájtra"," viszi: ez nagyjából a V4 Flash negyede, és a DeepSeek grafikonja szerint 437-szer kisebb, mint a DeepSeek V1-nél. Teljes, 1M tokenes kontextusnál ez szekvenciánként kb. 0,9 GB globális cache. Ehhez jön az ",{"tag":131,"children":363},[364],"Encoder SWA Bounded Replay",": a csúszóablakos állapot egyáltalán nem kerül a tartós prefix-cache-be; cache-találatkor a modell újrafuttatja a cache-elt prefix utolsó 128 tokenjét, és ebből közelítő lokális állapotot épít. Ez a tartós helyigényt SSD-n vagy hosztmemóriában a V4 Flash nagyjából nyolcadára csökkenti.",{"type":127,"content":367},[368],"Rekonstruálható a 890? Nagyjából, olyan feltevések mellett, amelyeket a tanulmány nem részletez. Ha minden fő KV-bejegyzés az 512 csatornás latens 4,5 biten (288 bájt), és minden indexelőkulcs 128 csatorna ugyanígy (72 bájt), akkor a decoder egyetlen közös cache-e m = 1 mellett tokenenként 360 bájt, az encoder három Full rétegének cache-e m = 2 mellett 3 × 180 = 540. Ez kb. 900 bájt, közel a közölt számhoz. Ez az én becslésem, nem a DeepSeek bontása; főleg arra jó, hogy lássuk: a számot az határozza meg, milyen kevés rétegnek van saját cache-e.",{"type":127,"content":370},[371],"A számítási oldal ugyanezt a görbét követi. A tanulmány 2. ábrája szerint a kontextus 256-szoros növelése, 4K-ról 1M tokenre, a tokenenkénti dekódolási FLOP-ot csak kb. negyedével emeli. A dekódolás költsége szinte független a kontextushossztól, és pontosan ez kell egy hosszan futó ágensnek.",{"type":159,"level":160,"id":102,"text":103},{"type":127,"content":374},[375],"Három további komponens kevésbé központi a cache-történetben, de magyarázza a paraméterszámot és a kiszolgálási sebességet:",{"type":265,"ordered":266,"items":377},[378,384,389],[379,380,383],"Az ",{"tag":131,"children":381},[382],"Engram"," egy feltételes memóriamodul, amely elválasztja a memorizálást a számítástól: hash-elt n-gram keresések (2-es, 3-as és 4-es rend, nyolc hash-fej, egyenként kb. 16M bejegyzéses táblák) adnak beágyazásokat a reziduális folyamhoz. A 196B paraméter két modulban van az 1. és a 14. rétegnél, FP8-ban tárolva. Mivel a címzés a bemeneti tokenekből determinisztikusan következik, a kiszolgáló stack RDMA-n előtöltheti a sorokat a hosztmemóriából, amíg az első transzformerblokk fut, így ezeknek a paramétereknek nem kell GPU-memória.",[269,385,388],{"tag":131,"children":386},[387],"DSpark"," a V3 többtokenes előrejelző modulját egy külön tanított spekulatív dekóderre cseréli: három transzformerblokk 128 tokenes ablakkal egy menetben öt pozíciót vázol fel, egy kis Markov-fej modellezi a vázlattokenek közötti függéseket, egy megbízhatósági fej pedig az elfogadást becsli, így az ütemező a pillanatnyi terhelés alapján kérésenként választhatja meg az ellenőrzés hosszát. Az előtanítás után, befagyasztott gerinccel tanítják, és az RL alatt szinkronban tartják, így a rolloutokat is gyorsítja.",[379,390,393],{"tag":131,"children":391},[392],"egymenetes mHC"," a V4 többfolyamos reziduális kapcsolatát (négy reziduális folyam) módosítja. Minden blokk most az előző blokk által számolt bemenetkeverési együtthatókat használja, ami megszüntet egy adatfüggést, így egyetlen fúzionált kernel egyszer olvassa és egyszer írja a reziduálist. A tanulmány szerint ez felezi az aktivációs memóriaforgalmat, (4n + 4)·d-ről (2n + 2)·d-re, elhanyagolható minőségvesztéssel.",{"type":127,"content":395},[396],"A képbemenet natív, nem utólag hozzácsavart. Egy DeepSeek-ViT encoder (32 réteg, 14-es patchméret, 2D-RoPE) egy 3 × 3-as pixel-unshuffle-ön keresztül táplálja a gerincet, ami kilencedére csökkenti a vizuális tokenek számát, és kb. 1344 × 1344 pixeles bemenetig működik. A MoE-routerben a szöveges és a képi tokenek külön terheléselosztási eltolást kapnak, így az egyik modalitás nem takarhatja el a szakértők egyenlőtlen terhelését a másikban.",{"type":159,"level":160,"id":105,"text":106},{"type":127,"content":399},[400],"Az előtanítás 45T tokenen futott, 7 : 1 arányban tisztán szöveges és multimodális adattal, rögzített 100,6M tokenes batchcsel. A ritka figyelmet a kezdetektől 64K szekvenciahosszon tanították, sűrű bemelegítő szakasz nélkül, és 34T tokennél bővítették 1M-ra. A tanulási ráta 28T tokenig 2,6 × 10⁻⁴ volt, 40T-ig koszinuszgörbén 2,6 × 10⁻⁵-re csökkent, és a végéig ott maradt. A tanulmány nem számol be instabilitásról.",{"type":127,"content":402},[403,404,407],"Az optimalizáló beállítása megér egy pillantást, ha magad is tanítasz modelleket. A súlymátrixok Muont használnak, a query- és key-súlyok pedig ",{"tag":131,"children":405},[406],"fejenkénti Muont",", így minden figyelemfej saját prekondicionálót kap. A nagy, beágyazásszerű mátrixok (Engram-táblák, tokenbeágyazás, kimeneti fej) nem Adamot használnak, amelynek állapota 196B paraméternél óriási lenne, hanem momentumos frissítést, majd Sinkhorn-kiegyensúlyozást, amely kiegyenlíti a sorok és oszlopok RMS-ét. A DeepSeek szerint ez jobb az Adamnál, és csak egy momentumpuffer kell hozzá. Az eredmény, a V4.1-Flash-Base, tudásban, következtetésben és kódolásban hozza a V4-Pro-Base szintjét, harmadannyi teljes és negyedannyi aktív paraméterrel.",{"type":159,"level":342,"text":409},"A gondolkodási erőfeszítés mint betanított tárcsa",{"type":127,"content":411},[412,413,417],"Az utótanítási recept szándékosan unalmas: felügyelt finomhangolás, RL és on-policy desztilláció, mint a V4-nél, a munka a szintetizált ágensfeladatokba és környezetekbe ment. Egy mechanizmus viszont mindenkinek fontos, aki üzemelteti. RL közben a rendszerprompt tartalmaz egy ",{"tag":414,"children":415},"code",[416],"Reasoning Effort: {effort}"," sort 1 és 100 közötti értékkel, a jutalomban pedig van egy hosszbüntetés a gondolkodási tokenekre, amelynek együtthatója az erőfeszítés értékével exponenciálisan csökken. A jutalmakat erőfeszítési szintenként normalizálják, így a modell szintenként külön hosszkeretet tanul, nem egyetlen kompromisszumot.",{"type":127,"content":419},[420,421,424,425,428,429,432],"A nyilvános API három előbeállítást kínál, amelyek erre az értékre képeződnek le: ",{"tag":131,"children":422},[423],"max"," = 100, ",{"tag":131,"children":426},[427],"high"," = 75, ",{"tag":131,"children":430},[431],"low"," = 50. Saját üzemeltetésnél nem vagy az előbeállításokhoz kötve: a tanulmány szerint a köztes értékek a betanított szintek között interpolálnak.",{"type":159,"level":160,"id":108,"text":109},{"type":127,"content":435},[436,437,440,441,444],"Az 1017 megtartja az architektúrát, és a viselkedést változtatja. A DeepSeek ",{"tag":136,"href":54,"children":438},[439],"bejelentése"," Pareto-javulásról beszél: jobb pontszámok, gyorsabb feladatvégzés és rövidebb kimenet egyszerre, a DeepSeek saját harnessére és olyan ágensekre hangolva, mint a Tencent CodeBuddy. A ",{"tag":136,"href":48,"children":442},[443],"The Decoder"," szerint a frissítés teljes projektek nulláról építéséhez önvisszajelzéses megerősítéses tanulást (RLSF) használ, ahol a modell saját magabiztossága vagy önkritikája a jutalomjel. A modellkártya nem részletezi a módszert, ezt tehát hírként kezeld, ne dokumentált tényként.",{"type":127,"content":446},[447,448,451],"Íme a számok a ",{"tag":136,"href":42,"children":449},[450],"modellkártyáról",", mind a DeepSeek saját közlése:",{"type":162,"head":453,"rows":467},[454,456,457,459,461,463,465],[455],"Benchmark",[133],[458],"V4.1 Flash",[460],"Kimi K3",[462],"GLM-5.3",[464],"GPT-5.6 Sol",[466],"Opus 5",[468,485,502,519,536,552,569,586,603,619,635],[469,471,473,475,477,479,481],[470],"HLE, eszközök nélkül",[472],"42.6",[474],"36.8",[476],"43.5",[478],"42.0",[480],"44.5",[482],{"tag":131,"children":483},[484],"56.3",[486,488,490,492,494,496,498],[487],"Terminal-Bench 4.0",[489],"42.3",[491],"31.2",[493],"12.6",[495],"37.9",[497],"39.9",[499],{"tag":131,"children":500},[501],"51.8",[503,505,509,511,513,515,517],[504],"DeepSWE v1.1",[506],{"tag":131,"children":507},[508],"77.0",[510],"74.2",[512],"67.5",[514],"66.9",[516],"73.0",[518],"74.0",[520,522,524,526,528,530,532],[521],"ProgramBench",[523],"29.1",[525],"20.3",[527],"17.5",[529],"19.0",[531],"23.0",[533],{"tag":131,"children":534},[535],"37.0",[537,539,541,543,545,546,548],[538],"NL2Repo-Bench",[540],"68.2",[542],"65.4",[544],"58.0",[544],[547],"56.8",[549],{"tag":131,"children":550},[551],"75.3",[553,555,559,561,563,565,567],[554],"Automation-Bench v1.0.6",[556],{"tag":131,"children":557},[558],"60.5",[560],"54.8",[562],"46.7",[564],"48.8",[566],"45.8",[568],"50.3",[570,572,576,578,580,582,584],[571],"Agents' Last Exam",[573],{"tag":131,"children":574},[575],"35.4",[577],"31.8",[579],"27.6",[581],"28.5",[583],"26.7",[585],"28.6",[587,589,593,595,597,599,601],[588],"Apex Bench v1.1",[590],{"tag":131,"children":591},[592],"72.1",[594],"64.6",[596],"47.8",[598],"56.6",[600],"54.3",[602],"65.8",[604,606,608,610,612,613,615],[605],"Chartography (eszközökkel)",[607],"83.0",[609],"78.9",[611],"68.1",[305],[614],"79.9",[616],{"tag":131,"children":617},[618],"84.0",[620,622,624,626,628,629,631],[621],"BabyVision (eszközökkel)",[623],"92.5",[625],"89.6",[627],"85.7",[305],[630],"88.9",[632],{"tag":131,"children":633},[634],"94.1",[636,638,640,642,644,645,649],[637],"ZeroBench-main (eszközökkel)",[639],"51.0",[641],"49.0",[643],"41.0",[305],[646],{"tag":131,"children":647},[648],"53.0",[650],"52.0",{"type":127,"content":652},[653],"A táblázatot két irányból érdemes olvasni. Az elődjéhez képest az 1017 minden sorban javul, a legnagyobbat ott, ahol az ágens terminálban dolgozik vagy teljes programot épít: Terminal-Bench 4.0 +11,1, ProgramBench +8,8, Apex +7,5, HLE +5,8. Az Opus 5-tel szemben vegyes a kép. A Flash nyer a munkafolyamat-jellegű ágensbenchmarkokon (DeepSWE, Automation-Bench, Agents' Last Exam, Apex), és egyértelműen veszít a nehéz következtetésen és a mély szoftverfejlesztésen: 14 pont a HLE-n, 9,5 a Terminal-Bench 4.0-n, 8 a ProgramBench-en, 7 az NL2Repo-n. A technikai jelentés ki is mondja: tudományos jellegű, szakértői tudást igénylő ágensfeladatokon megmarad a lemaradás az óriásmodellekhez képest.",{"type":152,"variant":655,"title":656,"body":657},"warn","Gyártói számok, gyártói harnessek",[658],[659],"A fenti pontszámok mind a DeepSeektől származnak, a DeepSeek által választott harnessekkel mérve (Terminal-Bench 4.0-hoz Claude Code, DeepSWE-hez Mini-SWE-V2). Független eredmények az írás idején még nem voltak. A benchmark szűkített lista, nem döntés: futtasd le a saját eval-készletedet, mielőtt éles forgalmat irányítasz át.",{"type":159,"level":160,"id":111,"text":112},{"type":127,"content":662},[663,664,667],"A rövidebb kimeneteken térül meg a frissítés. A DeepSeek DeepSWE-költséggrafikonja a The Decoder szerint az 1017-et 77,0%-on mutatja, valamivel ",{"tag":131,"children":665},[666],"0,20 $ alatt feladatonként",". Alacsony erőfeszítési szinten is 72% fölött van kb. 0,10 $-ért. Az előző V4.1 Flash 74,2%-ot ért el kb. 0,50 $-ért. Ugyanez a grafikon a GPT-6 Astrát, a Gemini 3.8 Flasht és a Claude Opus 5-öt feladatonként 2 és több mint 10 $ közé teszi. A fenti fenntartás itt is áll: ez a gyártó grafikonja, és a dolláronkénti pontosság a saját feladataidon másképp nézhet ki.",{"type":127,"content":669},[670,671,673,674,677],"A listaár az ",{"tag":136,"href":45,"children":672},[138]," millió bemeneti tokenenként 0,15 $, millió kimeneti tokenenként 0,60 $ és ",{"tag":131,"children":675},[676],"millió cache-olvasásonként 0,003 $",", 1M kontextussal és legfeljebb 393 216 kimeneti tokennel. Egy részlet a legtöbb beszámolóból kimarad: az ár napszakfüggő. Hétköznap 01:00 és 04:00, valamint 06:00 és 10:00 UTC között, vagyis a pekingi munkaidőben, mindhárom ár duplázódik. Az ezeken kívül ütemezett batch-feladatok fele annyit fizetnek.",{"type":127,"content":679},[680,681,684,685,689],"A döntő arány a cache-olvasás és a friss bemenet között van: 50 az 1-hez. Vegyünk egy szemléltető, 50 körös ágensmenetet, körönként 200K tokenes kontextussal, ebből 195K cache-elt prefix, 5K új token és 2K token kimenet. Körönként ez kb. 0,0006 $ cache-olvasás, 0,00075 $ friss bemenet és 0,0012 $ kimenet, vagyis csúcsidőn kívül ",{"tag":131,"children":682},[683],"nagyjából 0,13 $ az egész menet",". Ha a prefix eltörik, és semmi sincs cache-ben, csak a bemenet körönként 0,03 $, menetenként 1,50 $: több mint tízszer annyi ugyanazért a munkáért. Az architektúra olcsóvá tette a cache megtartását; hogy ki tudod-e használni, azt a promptod szerkezete dönti el. A prefix stabilan tartásáról a ",{"tag":224,"to":686,"children":687},"\u002Fblog\u002Fllm-cost-latency-prompt-caching-routing",[688],"prompt cachingről és routingról szóló útmutatóm"," szól.",{"type":127,"content":691},[692,693,696],"A modellel együtt a DeepSeek megnyitotta saját ",{"tag":131,"children":694},[695],"Search és Fetch API-jait",": 1000 sikeres kérésenként 0,75 $, fiókonként másodpercenként legfeljebb 5 kéréssel. A DeepSeek Harnessen, a Claude Code-on vagy a Codexen keresztüli szerveroldali eszközhívások 2026. október végéig ingyenesek.",{"type":159,"level":160,"id":114,"text":115},{"type":127,"content":699},[700,701,704,705,708,709,712,713,716,717,720],"Az OpenRouteren keresztül a modell egy szokásos, OpenAI-kompatibilis chat completion. A modellkártya 1,0-s ",{"tag":414,"children":702},[703],"temperature","-t és ",{"tag":414,"children":706},[707],"top_p","-t, hosszú ágensfutásokhoz pedig legalább 256K-s ",{"tag":414,"children":710},[711],"max_tokens"," keretet javasol; az erőfeszítési előbeállítás az OpenRouter ",{"tag":414,"children":714},[715],"reasoning"," paraméterén megy át. A DeepSeek saját API-ján a modell neve ",{"tag":414,"children":718},[719],"deepseek-flash",".",{"type":414,"code":722},"\u002F\u002F Node 22+, OpenRouter. Rutinkörökhöz alacsony erőfeszítés, nehezekhez high vagy max.\nconst res = await fetch('https:\u002F\u002Fopenrouter.ai\u002Fapi\u002Fv1\u002Fchat\u002Fcompletions', {\n  method: 'POST',\n  headers: {\n    Authorization: `Bearer ${process.env.OPENROUTER_API_KEY}`,\n    'Content-Type': 'application\u002Fjson',\n  },\n  body: JSON.stringify({\n    model: 'deepseek\u002Fdeepseek-v4.1-flash-1017',\n    reasoning: { effort: 'low' },\n    temperature: 1.0,\n    top_p: 1.0,\n    messages: [\n      \u002F\u002F Ezt a prefixet tartsd bájtra azonosan minden körben: a cache-olvasás a friss bemenet 1\u002F50-e.\n      { role: 'system', content: SYSTEM_PROMPT },\n      ...history,\n      { role: 'user', content: task },\n    ],\n  }),\n})\nconst data = await res.json()\nconsole.log(data.choices[0].message.content, data.usage)",{"type":127,"content":724},[725,726,730,731,735],"A saját üzemeltetés lehetséges, és az MIT-licenc jogilag egyszerűvé teszi, de nem egy GPU-s projekt: nagyjából 750B paraméterrel kell számolni az Engram-táblákkal együtt, plusz egy inferencia-stackkel, amely érti a CED-et, a CSA2-t, az FP4 KV-t és a korlátos visszajátszást. A súlyok repója saját inferenciakódot és konverziós útmutatót ad; az olyan motoroknak, mint a ",{"tag":224,"to":727,"children":728},"\u002Ftools\u002Fvllm",[729],"vLLM",", általában kell egy kis idő, mire egy új figyelemkialakítást hatékonyan támogatnak. Ha adatvédelmi okból választod ezt az utat, a ",{"tag":224,"to":732,"children":733},"\u002Fblog\u002Fself-hosted-llm-gdpr-cost",[734],"saját üzemeltetésű LLM-ekről, GDPR-ról és költségről"," szóló cikk mérlegelései közvetlenül érvényesek. Saját telepítésben az erőfeszítés értékét előbeállítás helyett közvetlenül a rendszerpromptban is megadhatod:",{"type":414,"code":737},"Reasoning Effort: 60 (range 1–100; higher values request more thorough reasoning)",{"type":159,"level":160,"id":117,"text":118},{"type":265,"ordered":266,"items":740},[741,746,751],[742,745],{"tag":131,"children":743},[744],"Tervezett közelítések."," A korlátos visszajátszás csak közelítőleg rekonstruálja a csúszóablakos állapotot, a ritka indexelő pedig rossz 512 bejegyzést is választhat. A DeepSeek saját összegzése mindkettőt a lehetséges minőségromlás forrásaként nevezi meg teszteletlen szélsőséges esetekben, főleg hosszú kontextusú ritka visszakeresésnél és a cache-folytatási határoknál.",[747,750],{"tag":131,"children":748},[749],"A csúcstól való lemaradás valós."," Nehéz következtetésben és szakértői szintű terminálmunkában az Opus 5 jócskán elöl van. A Flash erős alapértelmezés tömeges munkára, nem az erősebb modell helyettesítője a legnehezebb feladatokon.",[752,755,756,758],{"tag":131,"children":753},[754],"Joghatóság."," A DeepSeek API-t Kínából üzemeltetik. A kiadás előtti napon a ",{"tag":136,"href":48,"children":757},[443]," arról is beszámolt, hogy Kína szigorítani tervezi a nyílt súlyú modellek közzétételének szabályait, ami a jövőbeli kiadásokat érintheti, a már MIT alatt közzétett súlyokat viszont nem.",{"type":159,"level":160,"id":120,"text":121},{"type":265,"ordered":761,"items":762},true,[763,768,773,781],[764,767],{"tag":131,"children":765},[766],"Felvenném a rövid listára a nagy volumenű ágensmunkához",": tesztgenerálás, refaktorálás, kódáttekintési körök, adatkinyerés. Itt a legnagyobb a feladatonkénti költségelőny és a legkisebb a minőségi különbség.",[769,772],{"tag":131,"children":770},[771],"Futtasd le a saját evaljaidat low és high szinten",", mielőtt bármit átállítasz. Az érdekes munkapont a nagyjából fele árú low előbeállítás.",[774,777,778,720],{"tag":131,"children":775},[776],"Nehézség szerint routolj."," Tarts meg egy csúcsmodellt a nehéz esetekre, a tömeget pedig bízd a Flashre, ugyanazzal a mintával, mint a ",{"tag":224,"to":686,"children":779},[780],"routing-útmutatómban",[782,785],{"tag":131,"children":783},[784],"Tervezz a cache-re és az órára."," Ilyen árak mellett a stabil prefix és a csúcsidőn kívüli batch-ütemezés többet ér bármelyik benchmarkpontnál.",{"type":127,"content":787},[788,789,793],"A kiadás tágabb tanulsága, hogy a következő árcsökkenések a memóriából jönnek, nem a FLOP-okból. Egy modell, amelynek negyedannyi cache kell, ugyanazon a hardveren négyszer annyi párhuzamos, hosszú kontextusú menetet tud kiszolgálni, és ez teszi lehetővé a 0,20 $-os ágensfeladatokat. Ha segítség kell abban, hol a helye egy ilyen modellnek egy valós rendszerben, az ",{"tag":224,"to":790,"children":791},"\u002Fexpertise\u002Fai-engineer",[792],"AI engineering"," oldalon leírom, hogyan dolgozom.",{"type":159,"level":160,"id":123,"text":124},{"type":265,"ordered":266,"items":796},[797,802,807,812,817,822],[798,801],{"tag":136,"href":39,"children":799},[800],"DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression",", technikai jelentés, arXiv:2609.19969",[803,806],{"tag":136,"href":42,"children":804},[805],"DeepSeek-V4.1-Flash-1017 modellkártya",", Hugging Face",[808,811],{"tag":136,"href":45,"children":809},[810],"DeepSeek V4.1 Flash 1017 árak és szolgáltatók",", OpenRouter (árak 2026. október 17-i állapot szerint)",[813,816],{"tag":136,"href":48,"children":814},[815],"Deepseek V4.1 Flash 1017 beats larger rivals in agentic tasks",", The Decoder",[818,821],{"tag":136,"href":51,"children":819},[820],"DeepSeek opens V4.1-Flash-1017 weights and $0.75 Search API",", AI Weekly",[823,826],{"tag":136,"href":54,"children":824},[825],"A DeepSeek bejelentése",", X",[828,896,957,1013],{"slug":829,"published":5,"minutes":830,"category":7,"tags":831,"keywords":837,"about":849,"sources":859,"cover":890,"og":891,"expertise":57,"locales":892,"lang":61,"title":893,"description":894,"coverAlt":895},"llm-rate-limits-retries-provider-fallback",10,[832,833,834,835,836],"Rate limits","Retries","Fallback","Reliability","LLM gateway",[838,839,840,841,842,843,844,845,846,847,848],"llm rate limit handling","429 too many requests llm api","exponential backoff with jitter","anthropic 529 overloaded error","openai rate limit retry","llm provider fallback","litellm fallbacks","retry-after header","llm circuit breaker","multi provider llm failover","claude api rate limits",[850,853,856],{"name":851,"url":852},"Token bucket","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FToken_bucket",{"name":854,"url":855},"Exponential backoff","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FExponential_backoff",{"name":857,"url":858},"Circuit breaker design pattern","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FCircuit_breaker_design_pattern",[860,863,866,869,872,875,878,881,884,887],{"title":861,"url":862},"Claude Platform Docs: Rate limits","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Frate-limits",{"title":864,"url":865},"Claude Platform Docs: API errors","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fapi\u002Ferrors",{"title":867,"url":868},"OpenAI API Docs: Rate limits","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Frate-limits",{"title":870,"url":871},"AWS Builders Library: Timeouts, retries and backoff with jitter","https:\u002F\u002Fbuilder.aws.com\u002Fcontent\u002F3EumjoZascWd1oZiEgL8ORlv3qE\u002Ftimeouts-retries-and-backoff-with-jitter",{"title":873,"url":874},"MDN: Retry-After header","https:\u002F\u002Fdeveloper.mozilla.org\u002Fen-US\u002Fdocs\u002FWeb\u002FHTTP\u002FReference\u002FHeaders\u002FRetry-After",{"title":876,"url":877},"Martin Fowler: Circuit Breaker (2014)","https:\u002F\u002Fmartinfowler.com\u002Fbliki\u002FCircuitBreaker.html",{"title":879,"url":880},"LiteLLM Docs: Router, retries and cooldowns","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Frouting",{"title":882,"url":883},"LiteLLM Docs: Proxy fallbacks and reliability","https:\u002F\u002Fdocs.litellm.ai\u002Fdocs\u002Fproxy\u002Freliability",{"title":885,"url":886},"OpenRouter Docs: Model fallbacks","https:\u002F\u002Fopenrouter.ai\u002Fdocs\u002Fguides\u002Frouting\u002Fmodel-fallbacks",{"title":888,"url":889},"AI SDK Docs: Settings (maxRetries, timeout)","https:\u002F\u002Fai-sdk.dev\u002Fdocs\u002Fai-sdk-core\u002Fsettings","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-rate-limits-retries-provider-fallback\u002Fog.jpg",[59,60,61],"LLM rate limitek élesben: újrapróbálás, backoff és szolgáltatóváltás","Hogyan működnek az LLM rate limitek, mit érdemes újrapróbálni, backoff jitterrel, retry egy rétegben, és fallback-láncok, amelyek nem rontják el a kimenetet.","Kis négyzetek kapaszkodnak három fokon egy széles téglalaphoz, mögötte még kettő sorban.",{"slug":897,"published":5,"minutes":898,"category":7,"tags":899,"keywords":905,"about":916,"sources":926,"cover":951,"og":952,"expertise":57,"locales":953,"lang":61,"title":954,"description":955,"coverAlt":956},"prompt-versioning-management",8,[900,901,902,903,904],"Prompt management","Versioning","LLMOps","Evals","Langfuse",[906,907,908,909,910,911,912,913,914,915],"prompt versioning","prompt management","prompt registry","version control for prompts","langfuse prompt management","mlflow prompt registry","prompts in git","openai prompt object deprecation","prompt rollback production","prompt ci evaluation",[917,920,923],{"name":918,"url":919},"Prompt engineering","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPrompt_engineering",{"name":921,"url":922},"Version control","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FVersion_control",{"name":924,"url":925},"Continuous integration","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FContinuous_integration",[927,930,933,936,939,942,945,948],{"title":928,"url":929},"OpenAI API Docs: Migrate from prompt objects","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\u002Fmigrate-from-prompt-object",{"title":931,"url":932},"OpenAI API Docs: Prompt engineering (reusable prompts deprecation note)","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompt-engineering",{"title":934,"url":935},"Langfuse Docs: Prompt version control","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fprompt-version-control",{"title":937,"url":938},"Langfuse Docs: Prompt caching in the SDKs","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Fcaching",{"title":940,"url":941},"Langfuse Docs: Link prompts to traces","https:\u002F\u002Flangfuse.com\u002Fdocs\u002Fprompt-management\u002Ffeatures\u002Flink-to-traces",{"title":943,"url":944},"MLflow Docs: Prompt Registry","https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002F",{"title":946,"url":947},"Promptfoo Docs: GitHub Action","https:\u002F\u002Fwww.promptfoo.dev\u002Fdocs\u002Fintegrations\u002Fgithub-action\u002F",{"title":949,"url":950},"Claude Platform Docs: Prompt caching","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fprompt-caching","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fprompt-versioning-management\u002Fog.jpg",[59,60,61],"Promptverziózás élesben: git, registry, címkék és visszaállítás","Promptok verziózása élesben: mi tartozik egy verzióhoz, git vagy prompt registry, címkék és visszaállítás, eval-kapu a CI-ban és a cache-re gyakorolt hatás.","Öt álló kártya sorban, a harmadik íves nyíllal visszafordul, a kapu az utolsó előtt áll.",{"slug":958,"published":5,"minutes":959,"category":7,"tags":960,"keywords":965,"about":976,"sources":986,"cover":1007,"og":1008,"expertise":57,"locales":1009,"lang":61,"title":1010,"description":1011,"coverAlt":1012},"llm-batch-api-offline-workloads",9,[961,962,902,963,964],"Batch API","Cost","Prompt caching","Data pipelines",[966,967,968,969,970,971,972,973,974,975],"llm batch api","anthropic message batches api","openai batch api","gemini batch mode","batch inference llm cost","batch api 50 percent discount","openai flex processing","bedrock batch inference","llm offline processing","batch api prompt caching",[977,980,983],{"name":978,"url":979},"Batch processing","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FBatch_processing",{"name":981,"url":982},"JSON Lines","https:\u002F\u002Fjsonlines.org\u002F",{"name":984,"url":985},"Large language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FLarge_language_model",[987,990,992,993,996,999,1001,1004],{"title":988,"url":989},"Claude Platform Docs: Batch processing","https:\u002F\u002Fplatform.claude.com\u002Fdocs\u002Fen\u002Fbuild-with-claude\u002Fbatch-processing",{"title":991,"url":862},"Claude Platform Docs: Rate limits (Message Batches API)",{"title":949,"url":950},{"title":994,"url":995},"OpenAI API Docs: Batch API","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fbatch",{"title":997,"url":998},"OpenAI API Docs: Flex processing","https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fflex-processing",{"title":1000,"url":868},"OpenAI API Docs: Rate limits (batch queue limits)",{"title":1002,"url":1003},"Google AI for Developers: Gemini Batch API","https:\u002F\u002Fai.google.dev\u002Fgemini-api\u002Fdocs\u002Fbatch-api",{"title":1005,"url":1006},"Amazon Bedrock User Guide: Batch inference","https:\u002F\u002Fdocs.aws.amazon.com\u002Fbedrock\u002Flatest\u002Fuserguide\u002Fbatch-inference.html","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fllm-batch-api-offline-workloads\u002Fog.jpg",[59,60,61],"LLM batch API-k: félárú inferencia olyan munkára, amely várhat","Mikor érdemes az Anthropic, OpenAI és Gemini batch API-ját használni, hogyan működnek a limitek, a párosítás és a hibák, és hogyan adódnak össze a kedvezmények.","Széles doboz nyolc kis négyzettel, balról érkeznek, egy hosszú nyíl visszatér.",{"slug":1014,"published":5,"minutes":1015,"category":7,"tags":1016,"keywords":1021,"about":1033,"sources":1041,"cover":1078,"og":1079,"expertise":57,"locales":1080,"lang":61,"title":1081,"description":1082,"coverAlt":1083},"small-language-models-when-enough",11,[1017,1018,1019,1020,902],"Small language models","Distillation","Quantization","Model routing",[1022,1023,1024,1025,1026,1027,1028,1029,1030,1031,1032],"small language models","when to use a small language model","SLM vs LLM cost","model distillation","quantization aware training","Q4_K_M","LLM routing","small model evaluation","on-device LLM","Gemma 4 E4B","local LLM privacy",[1034,1037,1040],{"name":1035,"url":1036},"Small language model","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FSmall_language_model",{"name":1038,"url":1039},"Knowledge distillation","https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FKnowledge_distillation",{"name":984,"url":985},[1042,1045,1048,1051,1054,1057,1060,1063,1066,1069,1072,1075],{"title":1043,"url":1044},"Belcak et al.: Small Language Models are the Future of Agentic AI (arXiv 2506.02153)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.02153",{"title":1046,"url":1047},"Google: Gemma 4 model card","https:\u002F\u002Fai.google.dev\u002Fgemma\u002Fdocs\u002Fcore\u002Fmodel_card_4",{"title":1049,"url":1050},"Google: Gemma 3 QAT models, state-of-the-art AI on consumer GPUs","https:\u002F\u002Fdevelopers.googleblog.com\u002Fen\u002Fgemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus\u002F",{"title":1052,"url":1053},"Google: Introducing Gemma 3 270M","https:\u002F\u002Fdevelopers.googleblog.com\u002Fen\u002Fintroducing-gemma-3-270m\u002F",{"title":1055,"url":1056},"Microsoft Research: Phi-4 Technical Report (arXiv 2412.08905)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.08905",{"title":1058,"url":1059},"Qwen: Qwen3 Technical Report (arXiv 2505.09388)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.09388",{"title":1061,"url":1062},"Apple: Apple Intelligence Foundation Language Models, Tech Report 2025 (arXiv 2507.13575)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.13575",{"title":1064,"url":1065},"Ong et al.: RouteLLM, Learning to Route LLMs with Preference Data (arXiv 2406.18665)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.18665",{"title":1067,"url":1068},"LMSYS: RouteLLM, an open-source framework for cost-effective LLM routing","https:\u002F\u002Flmsys.org\u002Fblog\u002F2024-07-01-routellm\u002F",{"title":1070,"url":1071},"Gomes et al.: On the Generalization vs Fidelity Paradox in Knowledge Distillation (arXiv 2505.15442)","https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.15442",{"title":1073,"url":1074},"llama.cpp: quantize tool documentation","https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fblob\u002Fmaster\u002Ftools\u002Fquantize\u002FREADME.md",{"title":1076,"url":1077},"European Commission: AI Act","https:\u002F\u002Fdigital-strategy.ec.europa.eu\u002Fen\u002Fpolicies\u002Fregulatory-framework-ai","\u002Fimages\u002Fblog\u002Fsmall-language-models-when-enough\u002Fcover.webp","\u002Fimages\u002Fblog\u002Fsmall-language-models-when-enough\u002Fog.jpg",[59,60,61],"Kis nyelvi modellek: mikor elég egy 4B modell","Mikor veri a kis modell a frontier API-t: költség esetenként, latencia, adatvédelem, desztilláció, kvantálás, routing és eval-terv.","Kis kocka, elágazó út, az egyik ágon pipa, a másikon nagyobb üreges kocka.",1792245343767]