Mit jelent a gyakorlatban a PIM adatminőség?

Olyan rekordokat, amelyek a megfelelő szabványos osztályba vannak sorolva, kanonikus mértékegységben és formátumban hordozzák az attribútumértékeket, csak egyszer léteznek, és csak nyomon követhető folyamaton keresztül változnak. A szövegírás és a képek dúsítás, külön feladat. A négy minőségi feladat mindegyike pontossággal és teljességgel mérhető egy referenciakészleten.

Be tudja-e sorolni egy LLM a termékeket ETIM vagy ECLASS szerint?

Igen, rangsorolóként. Osztálynevekre és szinonimákra épülő kereséssel kérjen le egy jelöltlistát, adja át a modellnek az osztálydefiníciókat és jellemzőket, kérje, hogy válasszon egyet vagy egyiket sem, és mindent, ami egy bizalmi küszöb alatt van, küldjön emberhez. Ne várjon rögzített pontossági számot; mérje a saját referenciakészletén.

Hogyan találhatók meg a duplikált termékek egy PIM-ben?

Lépcsőzetesen. A blokkolási kulcsok, például a normalizált gyártói cikkszám, a GTIN-előtag vagy a márka és az első tokenek, csökkentik a párok számát; az embeddingek előválogatják a hasonló rekordokat; a maradék párokról LLM vagy olyan valószínűségi modell dönt, mint a Splink; az emberek pedig átnézik azokat az összevonásokat, amelyeket nem támaszt alá pontos azonosító.

ETIM vagy ECLASS: melyik osztályozást használja egy B2B webshop?

Ez az ágazattól és a kereskedelmi partnerektől függ. Az ETIM az elektromos, épületgépészeti és épülettechnikai nagykereskedelemben elterjedt; az ECLASS szélesebb körű, és 31 nyelven érhető el, köztük németül és magyarul. Sok PIM mindkettőt kezeli, egy belső taxonómiára leképezve.

Hogyan értékelhetők a termékadat-minőségi változtatások?

Állítson össze katalógusszeletenként néhány száz–ezer rekordos referenciakészletet, amelyet két annotátor címkéz, és akik az esetek többségében egyetértenek, majd minden prompt-, modell- vagy szabványverzió-változásnak teljesítenie kelljen rajta a pontossági és teljességi küszöböket, beleértve egy negatív ellenőrzést, hogy egy nyilvánvalóan hibás rekord elutasítva marad.

PIM adatminőség LLM-mel · Balázs Csorba

A PIM adatminőség azt jelenti, hogy minden termékrekord a megfelelő szabványos osztályba van sorolva, kanonikus mértékegységben hordozza az attribútumértékeket, csak egyszer létezik, és csak nyomon követhető folyamaton keresztül változik. A nagy nyelvi modellek éppen azokban a részekben segítenek, amelyek korábban elakadtak a hátralékban: osztályok rangsorolása, rendezetlen értékek értelmezése és majdnem-duplikátumok megítélése, feltéve, hogy előbb determinisztikus szabályok futnak, és ember hagyja jóvá, amit a modell javasol.

Ez a cikk a négy minőségi feladatot, az ETIM, ECLASS és UNSPSC szerinti besorolást, a mértékegység- és nyelvi normalizálást, a duplikátumkeresést, az adatgondozási sort, a referenciakészlettel végzett értékelést és az üzleti indoklást tárgyalja. A termékszövegek generálása más feladat, itt nem foglalkozunk vele.

Milyenek a jó termékadatok?

A jó termékadat négy géppel ellenőrizhető feladaton megy át: be van sorolva egy szabványba, az attribútumértékei normalizáltak, egyedi, és minden változását audit nyomvonallal gondozzák. Minden feladat saját pontossági és teljességi célt kap, mielőtt bármilyen modell szóba kerülne, mert a szám nélküli „jobb adat” sem elfogadni, sem elutasítani nem lehet.

Az adatminőségi folyamat: előbb determinisztikus szabályok, középen LLM-lépések, és emberi gondozási kapu, mielőtt bármi a közzétett katalógusba kerülne.

A besorolás dönti el, mely szűrőkben és facettákban jelenik meg egy termék. A normalizálás dönti el, hogy a „230 V”, a „230V AC” és a „0,23 kV” egyenlőnek számít-e. A duplikátumszűrés dönti el, hogy egy cikk iránti kereslet szétoszlik-e három cikkszám között. Az adatgondozás dönti el, hogy egy év múlva meg tudja-e valaki magyarázni, miért változott egy rekord. Több mint tízévnyi Spryker és Pimcore munka során láttam, hogyan válik ez a négy feladat olyan hátralékká, amelyért senki nem felel; az LLM-ek az ellenőrzési sor költségét változtatják meg, nem a szükségességét.

Hogyan sorolhatók be a termékek LLM-mel ETIM vagy ECLASS szerint?

A modellt egy szűkített lista rangsorolójaként kezelje, ne a teljes szabvány osztályozójaként. Osztálynevekre és szinonimákra épülő kereséssel kérjen le nagyjából tíz jelölt osztályt, adja meg a modellnek minden jelölt definícióját és jellemzőlistáját, hagyja, hogy bizalmi szinttel válasszon egyet vagy egyiket sem, és a bizonytalanokat irányítsa emberhez.

// Classification (sketch): retrieve a shortlist, let the model rank, route by confidence
const shortlist = await classIndex.search(`${product.title} ${product.attributeText}`, { k: 10 })  // BM25 + vectors
const ranked = await llm.rank({
  product,
  candidates: shortlist.map((c) => ({ code: c.code, name: c.name, definition: c.definition, features: c.features })),
  schema: { classCode: 'one candidate code or NONE', confidence: 'low | medium | high', reason: 'string' },
})

if (ranked.classCode !== 'NONE' && !shortlist.some((c) => c.code === ranked.classCode))
  return queue(product, 'model answered outside the shortlist')
if (ranked.confidence !== 'high') return queue(product, 'needs review', ranked)
return propose(product, ranked)          // still a proposal; publishing follows stewardship rules

A szabványokat éppen erre tervezték. Az ETIM-ben minden osztálynak, jellemzőnek, értéknek és mértékegységnek nyelvfüggetlen azonosítója van, a jellemzők típusa alfanumerikus, logikai, numerikus vagy tartomány, a numerikus és tartományjellemzőkhöz pedig mindig mértékegység kell (ETIM modell). Az ECLASS a generált szöveggel tovább ment: a 16.0-s kiadáshoz nagyjából 23 300 osztálydefiníciót készített GPT-4o minivel, és mindegyiket magában a szabványban jelöli géppel generáltként (ECLASS). Ez hasznos jelzés a saját folyamatához is: a modell kimenetét tartósan jelölje annak.

A bizalmi küszöböt osztálycsaládonként állítsa be, ne globálisan. Egy olyan családban, ahol az osztályok egyetlen jellemzőben térnek el, például a kábeltípusok keresztmetszet és szigetelés szerint, a modell gyakrabban téved magabiztosan, mint egy jól elkülönülő osztályokból álló családban. Mérje a pontosságot családonként a referenciakészleten, csak ott javasoljon automatikusan, ahol tartja magát, és a küszöb a bizonyítékkal együtt emelkedjen vagy csökkenjen. A szűkített lista is árulkodó: ha a helyes osztály gyakran hiányzik az első tízből, előbb a lekérést és a szinonimákat javítsa, csak utána a promptot.

Szabvány	Aktuális kiadás	Tipikus terület	Német és magyar	Csere
ETIM	10.0 (2024. dec.); 11.0 várhatóan 2026. dec. 1.	villamosság, épületgépészet, épülettechnika	nemzeti tagság szükséges	ETIM xChange 1.1, BMEcat-leképezés
ECLASS	16.0 (2025. nov. 28.)	iparágakon átívelő, 31 nyelv	mindkettő 100%-ban fordított	CSV, XML, JSON, REST
UNSPSC	2025 januárja óta az UNDP kezeli	beszerzés és költéselemzés	kódalapú	kódlisták
BMEcat	2005.2	katalóguscsere a DACH B2B-ben	bármely osztályozást hordoz	XML

A táblázat forrásai: ETIM 10.0, az ETIM 11.0 ütemezése, ETIM licencek, ECLASS nyelvi változatok, 2026 októberi állapot. Egy új szabványkiadás saját referenciakészlettel rendelkező leképezési projekt, nem promptváltozás.

Hogyan normalizálhatók a mértékegységek és a nyelvek?

Importáláskor normalizáljon kanonikus mértékegység–érték párra, és mellette őrizze meg az eredeti szöveget és a leképezés verzióját. Előbb jönnek a mértékegységek: az ETIM minden numerikus és tartományjellemzőhöz mértékegységet ír elő, így a „2,5 mm²”, a „2.5mm2” és a „2,5 qmm” mind ugyanazzá az értékké kell váljon ugyanabban a mértékegységben, mielőtt bármi összehasonlíthatná őket.

A nyelv a második lépés, és itt a licenc is számít. Az ETIM angol mesterváltozata mindenki számára elérhető, a német, az osztrák-német és a magyar nyelvi változathoz viszont nemzeti tagság kell (ETIM licencek); az ECLASS a németet és a magyart teljesen lefordítva szállítja. Az eszközök lefedettsége is egyenetlen: az Akeneo helyesírás-ellenőrzése tud németül, magyarul nem (Akeneo). A minta ugyanaz, amelyet a saját oldalam LLM-folyamattal történő fordításánál használtam, és amelyet az LLM fordítási folyamat i18n-hez című cikk ír le: a modell javasol, egy glosszárium és egy ellenőrzési lépés dönt.

A nem leképezhető értékeknek kijelölt helyre van szükségük. Ahelyett, hogy a modell kitalálná a legközelebbi megengedett értéket, tárolja a nyers szöveget, jelölje az attribútumot leképezetlennek, és küldje a sorba a modell által mérlegelt jelölt értékekkel együtt. Idővel a leképezetlen szövegekből kiderül, mely beszállítói formátumok vagy szinonimák hiányoznak a szabályokból, és egy szabály javítása egyszerre egy egész kategóriát tüntet el a sorból.

Hogyan ismerhetők fel a duplikált termékek?

Használjon olyan lépcsőt, amely a párok többségét olcsón kiszűri, mielőtt bármelyik modell látná őket. Minden rekord összevetése minden másikkal nem skálázódik: 100 000 rekord már nagyjából 5 milliárd párt alkot. A normalizált kulcsokra épülő blokkolás, az embedding-előszűrés és a nehéz maradékra alkalmazott LLM-döntés ezt olyan mennyiségre csökkenti, amelyet emberek át tudnak nézni.

A duplikátumlépcső: minden szakasz olcsón kiszűri a párok többségét, az LLM csak a nehéz maradékot látja, és csak az azonosítóval alátámasztott egyezések vonódnak össze ember nélkül.

Az elvárásokat publikált eredményekhez igazítsa. A valósághű WDC Products benchmarkon, 3259 webáruház 11 715 ajánlatán 2162 termékre, a legkorszerűbb módszerek F1 értéke 0,64 és 0,89 közé esik, és a pontosság összeomlik a határeseteken és az ismeretlen termékeken (Peeters és társai, EDBT 2024). Egy korábbi tanulmány szerint a ChatGPT zero-shot 82,35%-os F1-et ért el egy termékpárosítási feladaton, ahol egy finomhangolt RoBERTa-nak 2000 tanítópélda kellett hasonló minőséghez (Peeters és Bizer, 2023). Jó, de nem elég jó a felügyelet nélküli összevonáshoz.

A döntési lépésben egy valószínűségi modell komoly alternatívája az LLM-nek. A Splink a Fellegi–Sunter modellt valósítja meg felügyelet nélküli tanítással és gyakoriság-korrekcióval, laptopon percenként nagyjából egymillió rekordot kapcsol össze, Sparkon vagy DuckDB-n 100 milliót vagy többet, és többek között a brit Office for National Statistics és az Európai Gyógyszerügynökség is használja; a dokumentációja kifejezetten kimondja, hogy a rekordokat előbb szabványosítani kell (Splink). Ez ismét a normalizálási lépés.

Mi kerüljön az adatgondozási sorba?

Minden, amiben a folyamat nem biztos: alacsony bizalmú besorolások, pontos azonosító nélküli összevonási és szétválasztási döntések, valamint mértékegység-ütközések. A sorban válik az LLM sebessége közzétett adattá, ezért ugyanolyan gondosságot igényel, mint bármely felhasználói képernyő.

A PIM-ek ennek egy részét biztosítják. A Pimcore Data Quality Management konfigurálható szabályokból adatobjektumonként minőségi pontszámot számol, és megjeleníti a szerkesztőben, a rácsnézetben és a fában (Pimcore), a Pimcore Copilot pedig többlépéses háttérfeladatokat futtat feladat-áttekintéssel. Az Akeneo Data Quality Insights A-tól E-ig osztályozza a termékeket dúsítottság és konzisztencia szerint (Akeneo). Egyik sem helyettesíti a döntésenkénti audit rekordot:

{
  "record": "SKU-118274",
  "job": "classify",
  "proposal": { "standard": "ETIM", "release": "10.0", "classCode": "…", "confidence": "high" },
  "model": "provider/model-id@2026-10-01",
  "promptVersion": "classify-v14",
  "inputHash": "sha256:9f2c…",
  "decision": "approved",
  "decidedBy": "steward:k.mayer",
  "decidedAt": "2026-10-12T09:41:07Z"
}

A sort áteresztőképességre tervezze. Csoportosítsa a tételeket típus és osztálycsalád szerint, hogy az adatgondozó egymás után húsz hasonló kábelrekordot nézzen át, ne ugráljon témák között, mutassa a bizonyítékot minden javaslat mellett, és legyen az elfogadás, javítás és elutasítás egy-egy billentyű. Minden javítás tananyag a következő körhöz: szinonimává, leképezési szabállyá vagy referenciapéldává válik. A csak növekvő sor arra utal, hogy a küszöbök vagy a szabályok rosszak, nem arra, hogy az emberek lassúak.

Hogyan értékelhető referenciakészlettel?

Állítson össze katalógusszeletenként 300–1000 rekordos referenciakészletet, amelyet két ember egymástól függetlenül címkéz, és minden prompt-, modell- vagy szabványverzió-változásnak teljesítenie kelljen rajta a pontossági és teljességi küszöböt. Két gondos annotátor megközelítheti a publikált benchmarkok minőségét: a WDC Products csapata a kézi ellenőrzés során 4,00% és 4,17% címkezajt becsült 0,91-es Cohen-féle kappával (WDC Products).

Mennyit érnek a jobb termékadatok?

A keresés és a szűrők a bevételi emelő, a duplikátumok a költségemelő. Mindkét oldalra vannak publikált számok, többnyire szállítóktól és szomszédos piacokról, ezért irányként mutassa be őket, ne ígéretként.

Megtalálhatóság: egy SQLI által publikált esetben egy 45 000 cikkes, 18%-os nulltalálatos aránnyal küzdő ipari kereskedő adatminőségi audit és AI-keresés után a keresést használók konverzióját 23%-ról 47%-ra, az átlagos kosárméretet 23%-kal növelte (SQLI). A tiszta attribútumokon múlik a szemantikus termékkeresés B2B-ben, és azok az ágensek is, amelyek a katalógusát olvassák, lásd agentic commerce felkészültség.
Visszaküldések: a GS1 India és a Kanvic 2026 márciusában közzétett tanulmánya szerint a rossz termékadat évente nagyjából 5000 crore rúpiába kerül az indiai e-kereskedelemnek, ebből mintegy 1900 crore a visszaküldésekhez kapcsolódó költség (BW Retail World). A B2B-ben a rossz alkatrész rendelése ugyanez a hiba: nem egyező specifikáció.
Duplikátumok: a duplikált cikkszámok költségére nincs hiteles nyilvános szám. A mechanika viszont világos: a duplikátumok felfújják a katalógust, megosztják a keresleti jeleket és a rendelési pontokat, és torzítják a választéki jelentéseket. Számolja meg őket előtte és utána.

Egy e-kereskedelmi vezető vagy PIM-felelős számára a mérhető alapérték a nulltalálatos arány, az osztályonkénti attribútum-kitöltöttség és a duplikátumok száma. Egy rögzített hatókörű adatminőségi sprint, audit, referenciakészlet, besorolási és duplikátumfeladatok bizalmi küszöbökkel, gondozási nézet és CI-kapu, pontosan ezeken a számokon tudja megmutatni az előtte-utána különbséget.

Mikor ne használjon LLM-et termékadatokhoz?

Soha semmire, amiről egy szabály dönthet. A formátumok, a GTIN ellenőrző számjegye és a referencialistába tartozás determinisztikus ellenőrzések, és minden modell előtt le kell futniuk. Az LLM-ek a kétértelmű rangsorolásra és értelmezésre valók, nem számjegyek ellenőrzésére. Egy új szabványkiadásra, például a 2026 decemberi ETIM 11.0-ra való átállás pedig saját tesztekkel rendelkező leképezési projekt, nem egy prompt, amelyet átírunk. Ha a törzsadatok következetlenül érkeznek az ERP-ből, előbb az importot javítsa; ennek helye a Pimcore ERP delta szinkron.

Ellenőrzőlista az LLM-támogatott PIM adatminőséghez

Külön határozzon meg pontossági és teljességi célt a besorolásra, a normalizálásra és a duplikátumszűrésre.
Előbb a determinisztikus ellenőrzések: formátumok, GTIN ellenőrző számjegy, referencialisták.
Lekért szűkített listával soroljon be, és utasítsa el a listán kívüli válaszokat.
Tárolja a kanonikus mértékegységet és értéket, valamint az eredeti szöveget és a leképezés verzióját.
Automatikusan csak ott vonjon össze, ahol pontos azonosító és a párosító egyezik; a többit tegye sorba.
Minden döntésről írjon audit rekordot a modellel, a prompt verziójával és a bemenet hash-ével.
A változásokat a CI-ban két annotátoros referenciakészlettel engedje át, negatív ellenőrzésekkel együtt.
A szabványkiadás-váltásokat saját leképezési tesztekkel rendelkező projektként tervezze.

Ha alapértéket szeretne a katalógusához, vagy segítséget a folyamat kiépítéséhez Pimcore-ban vagy Akeneóban, nézze meg a B2B e-kereskedelmi munkámat.

PIM adatminőség LLM-mel: ETIM osztályozás, normalizálás és duplikátumszűrés

A lényeg röviden