Beszállítói adatok átvétele LLM-mel: árlisták, PDF-ek és tanúsítványok

A beszállítói adatátvétel az a munka, amellyel külső beszállítók termékadatai, árlisták, specifikációk, képek és tanúsítványok helyes és leképezett formában bekerülnek a PIM-be, és naprakészek maradnak, amikor az árak és a választék változik. A saját ERP–PIM szinkronnal ellentétben a formátumot egyeztetni kell, nem Ön szabja meg: több száz beszállító, API nélkül, Excel, CSV, BMEcat és PDF minden létező változatban.

A nagy nyelvi modellek végre automatizálhatóvá teszik ennek a munkának a PDF-es szintjét. Ez a cikk sorra veszi, mikor ne használjuk őket, hogyan irányítsuk az egyes fájlokat, hogyan nyerjük ki az árlistákat bizonyítékkal, mely ellenőrzéseknek kell minden leképezés előtt lefutniuk, hogyan kezeljük a frissítéseket és újrapublikálásokat, hogyan értékeljük a beszállítókat, és mennyit ér a gyorsabb adatátvétel.

Mit jelent valójában a beszállítói adatátvétel?

Egyetlen folyamat három bemeneti osztályra, megszorozva három ütemmel és minden beszállítóval, akivel dolgozik. A bemeneti osztályok: strukturált feedek, például BMEcat, CSV és Excel; félig strukturált dokumentumok, például PDF-árlisták és adatlapok; valamint strukturálatlan anyagok, például szkennelt tanúsítványok. Az ütemek: az első feltöltés, a havi árfrissítés és az újrapublikálás, amikor a választék változik.

A döntő mérőszám az idő a „beszállító elküldi a fájlt” és a „cikk listázható és helyes” állapot között. A GS1 számokkal írja le a kézi utat: a kiskereskedőknek cikkenként 10–15 egyeztetés kell a beszállítókkal a bevezetéshez, és 5–10 óra egy márkapartner betanítása az adatigényeikre, miközben a márkatulajdonosok cikkenként mintegy 700 attribútumot kezelnek (GS1; a GS1 publikált számai, megadott felmérési év nélkül). Minden egyeztetés, amely kikerül ebből a körből, előrébb hozza a listázás napját.

Miért elemezzük a strukturált feedeket modell nélkül?

Mert egy szerződésben rögzített formátum determinisztikus importja gyorsabb, olcsóbb, megismételhető és auditálható, egy modell pedig ott csak kockázatot hoz. Ahol van elemző, ne költsön tokent.

A DACH régió B2B kereskedelmében a szerződéses formátum gyakran a BMEcat, amelynek jelenlegi változata a 2005.2; a német beszerzési szövetség, a BME adja ki specifikációval, DTD-kkel és XSD-kkel (BME). Külön tranzakciót határoz meg az új katalógusra, a termékfrissítésekre és az árfrissítésekre, ami közvetlenül megfelel a három ütemnek. A verzióeltérés viszont valós: a Unite piactér továbbra is BMEcat 1.2-t ír elő beszállítóinak, és felsorolja a gyakori hibákat (Unite), ezért az olvasónak verziókon átívelően kell normalizálnia az elemneveket. Az ETIM saját JSON-formátumra vált, ez az ETIM xChange, jelenleg 1.1-es verzió, ETIM BMEcat leképezéssel és ellenőrző eszközzel (ETIM).

A PIM-platformok kód nélkül lefedik ezt a szintet. A Pimcore Data Importer hat forrástípusból, köztük SFTP-ről és push végpontról olvas CSV-t, JSON-t, XML-t, XLSX-et és SQL-eredményt, eldönti, hogy létrehoz vagy frissít, delta-ellenőrzéssel kihagyja a változatlan rekordokat, és ütemezetten, részletes naplóval fut (Pimcore). Az Akeneo külön Supplier Data Managert kínál a beszállítói termékadatok begyűjtésére (Akeneo). Ha a saját törzsadatai már az ERP-ből áramlanak, a Pimcore ERP delta szinkron mintája ennek a fogadásnak a belső megfelelője.

Hogyan választható ki az útvonal minden beszállítói fájlhoz?

Tegyen fel sorrendben három kérdést, és az első igennel válaszoló utat válassza. A legolcsóbb megbízható út nyer, és amit egyik út sem tud olvasni, az visszamegy a beszállítóhoz, nem egy modellbe.

Az LLM-es sor az Anthropic publikált árain végzett számítás, nem benchmark: 10 000 sor soronként nagyjából 1000 bemeneti tokennel 10 millió bemeneti token, azaz 0,50 dollár, plusz nagyjából 1,5 millió kimeneti token, azaz 0,38 dollár. Az újrapróbálkozások, a szkennelt anyagok képtokenjei és a hosszú oldalak ezt növelik, és az újabb Claude-modellek olyan tokenizálót használnak, amely ugyanarra a szövegre nagyjából 30%-kal több tokent ad. A modell díja ennek ellenére ritkán a lényeges költség; a fejlesztés, az ellenőrzési percek és a beszállítókkal való egyeztetés az. Az ilyen tömeges futtatások batch API-ra valók, ahogy a batch API-k offline LLM-feladatokhoz című cikk leírja. Az OCR-árak az Amazon Textract oldaláról származnak.

Hogyan nyerhetők ki PDF-árlisták LLM-mel?

Előbb a szövegréteg vagy az OCR jön, aztán a kinyerés beszállítói sablononként egy sémába, sorhorgonnyal, oldalszámmal és mezőnkénti bizalmi szinttel, majd az eredmény egyeztetése az elvárttal. Amit az elemző nem lát, az nem nyerhető ki megbízhatóan, ezért az elrendezési lépés megelőzi a modellt; a lehetőségeket a PDF-feldolgozás RAG-hoz és az Unstructured című cikkek vetik össze.

{
  "supplier": "S-0412",
  "template": "acme-pricelist-v3",
  "page": 4,
  "rowAnchor": "Art.-Nr. 70.112.04",
  "supplierPartNo": "70.112.04",
  "gtin": "4012345678901",
  "description": "Kabelverschraubung M20x1,5 IP68",
  "price": { "value": 1.84, "currency": "EUR", "per": 100, "unit": "PCE" },
  "packaging": { "level": "case", "quantity": 50 },
  "confidence": { "price": "high", "per": "medium", "packaging": "high" }
}

Két egyeztetés fogja meg a kinyerési hibák többségét. Az első a sorok száma: ha az árlista az első oldalon 312 tételt jelez, a kinyerés pedig 309-et ad vissza, valami kimaradt vagy összeolvadt. A második a variánstengelyek: ha egy termék négy méretben és három anyagból készül, tizenkét sornak kell lennie, és egy hiányzó kombináció vagy valódi hiány, vagy kinyerési hiba, amelyről embernek kell döntenie. A vision modellek a szkennelt listáknál és a tűrésekkel teli specifikációs táblázatoknál segítenek; a tiszta táblázatoknál ártanak, mert ott egy táblázatolvasó pontos, a modell csak zajt adhat hozzá.

Mely ellenőrzéseknek kell lefutniuk a leképezés előtt?

GTIN ellenőrző számjegy, mértékegység, pénznem, árazási alap és csomagolási szint, mind determinisztikus, mind a leképezés és az ellenőrzés előtt. Ezeknél az ellenőrzéseknél egy modell csak ronthat, mert a helyes válasz kiszámítható.

// GTIN-8/12/13/14 check digit: weights 3 and 1 alternate, starting with 3 next to the check digit
export function isValidGtin(raw: string): boolean {
  const gtin = raw.replace(/\s/g, '')
  if (!/^(\d{8}|\d{12}|\d{13}|\d{14})$/.test(gtin)) return false
  const digits = [...gtin].map(Number)
  const check = digits.pop()!
  const sum = digits.reverse().reduce((acc, d, i) => acc + d * (i % 2 === 0 ? 3 : 1), 0)
  return (10 - (sum % 10)) % 10 === check
}

• GTIN: az ellenőrző számjegy az összes többi számjegyből számolódik, és a GS1 kalkulátora a GTIN-8, -12, -13 és -14 formátumot is kezeli (GS1). A sikertelen ellenőrzés hibás értéket jelent; küldje vissza, soha ne kérjen modellt a javítására.
• Árazási alap: darabonként vagy százanként, méterenként vagy négyzetméterenként. Egy százszoros hibával szereplő ár minden formátumellenőrzésen átmegy, és csak az előző árlistával szembeni hihetőségi ellenőrzésen akad fenn.
• Csomagolási szintek: az egyedi termék, a gyűjtőkarton és a raklap eltérő GTIN-nel és méretekkel rendelkezik; összekeverésük tönkreteszi a logisztikát. A GS1 US szerint a karton magasságában egy negyed hüvelykes hiba hússzor kevesebb kartont jelenthet raklaponként és hatszor több teherautót a szükségesnél (GS1 US).
• Mértékegységek és taxonómia: az ETIM minden numerikus és tartományjellemzőhöz mértékegységet ír elő, és minden mértékegységnek nyelvfüggetlen azonosítót ad (ETIM), ami természetes cél a beszállítói mértékegységek normalizálásához. A PIM-ben már bent lévő rekordok besorolását és duplikátumszűrését a PIM adatminőség LLM-mel című cikk tárgyalja.

A kanonikus érték mellett tárolja az eredeti szöveget, a leképezés verzióját és a forrásdokumentumot oldallal és sorral, hogy a webshop bármely értéke visszakövethető legyen a beszállítói fájl azon sorához, ahonnan származik.

Hogyan kezelhetők az árfrissítések és újrapublikálások?

Ismerje fel, mi változott, és csak azt alkalmazza, szabályokkal arról, mit írhat felül egy beszállítói fájl. Fájl-hash-sel hagyja ki az azonos szállításokat, természetes kulcsonként, ami többnyire a beszállítói cikkszám, sor-hash-sel keresse meg a változott sorokat, és használja a BMEcat frissítési tranzakcióit, ahol a beszállító ezeket küldi a teljes csereállományok helyett.

• Soha ne írja felül a tárgyalt árakat. A beszállító listaára a beszerzési ár bemenete, nem az árazómotor ügyfélspecifikus áraié.
• Ismerje fel a sémaeltérést. Egy megváltozott oszlopsorrend vagy egy új oszlop állítsa le az adott beszállító importját és riasszon egy embert, ne tolja el minden értéket egy oszloppal jobbra.
• A csend nem frissítés. Az a beszállító, amely nem küld több fájlt, nem erősítette meg, hogy az árak változatlanok. Kövesse minden beszállító legutóbbi árlistájának korát, és jelezze, ha túllépi a megállapodott ütemet.

Mit mérjen a beszállítói értékelőlap?

Mérje annak minőségét, amit az egyes beszállítók küldenek, és határozza meg, hogy az adott beszállító adataiból mennyi fut át ember nélkül. A GS1 US National Data Quality Programja három összetevővel határozza meg az adatminőséget: adatirányítás kijelölt felelősökkel és az új cikkek auditjával, oktatás, valamint fizikai audit, amely a valódi terméket a megosztott adatokkal veti össze (GS1 US). Egy digitális értékelőlap ezt számokra fordítja le beszállítónként:

• a kötelező attribútumok kitöltöttsége és a médialefedettség
• érvényes GTIN-ek aránya és árazási alap anomáliák
• idő a fájl beérkezésétől a listázható cikkig
• a kinyert mezők bizalmi eloszlása és az emberi javítások aránya
• a legutóbbi árlista kora a megállapodott ütemhez képest

Az értékelőlap három döntést vezérel: mely beszállítók adatai kerülnek automatikusan közzétételre, melyek mennek át ellenőrzésen, és mit kér a beszerzés a következő tárgyaláson, például sablont, BMEcat-szállítást vagy adatminőségi záradékot.

Mennyit ér a gyorsabb beszállítói adatátvétel?

Annyit ér, amennyivel korábbra hozza a cikkenkénti listázást, szélesebb választékot tesz lehetővé csapatonként, csökkenti a rossz mértékegységű rendeléseket, és jobb tényeket ad a beszállítói tárgyalásokhoz. Nincs publikált tanulmány, amely kifejezetten az LLM-alapú beszállítói adatátvétel megtérülését mérné, ezért a mechanikát mutassa be, és a saját alapértékét mérje.

• Gyorsabban bevételhez: a GS1 szerinti cikkenkénti 10–15 beszállítói egyeztetés mindegyike késlelteti, hogy a cikk eladható legyen.
• Választék szélessége: egy Zoovu által megrendelt, több mint 400 B2B vezetőt megkérdező felmérésben 83% hiányosnak, következetlennek, pontatlannak, strukturálatlannak vagy elavultnak írta le a termékadatait (Business Wire, 2024. feb.; szállító által megrendelt). A beszállítókat befogadó csapat szabja meg a felső határt, hány terméket tud online értékesíteni.
• Visszaküldés és logisztika: a hibás specifikációk és csomagolási adatok visszaküldéssé és elpazarolt fuvarrá válnak; a GS1 US szerint a kiskereskedők 80%-a nem bízik a termékadataiban.

Egy e-kereskedelmi vezető, PIM-felelős vagy beszerzési vezető számára az őszinte keret egy mért átvételi feltétellel rendelkező adatátvételi folyamat: az emberi beavatkozás nélkül közzétett sorok aránya és a beszállítónkénti javítási arány. Több mint tízévnyi Spryker és Pimcore munka után a beszállítói adatátvételt olyan feladatnak látom, amely soha nem ér véget; az LLM-alapú kinyerés automatizálja a PDF-szintet, az Excel-szint pedig mindig is leképezési feladat volt.

Ellenőrzőlista, és mikor ne használjon LLM-et

Ne használjon LLM-et ott, ahol van determinisztikus elemző, ahol egy rögzített űrlappal rendelkező beszállítói portál tisztábban gyűjtené az adatot, vagy ahol a helyes válasz a fájl elutasítása és sablon kérése. Minden beszállítónak kell egy emberi tartalékút is: egy e-mail-cím, egy melléklet és egy kézi sor, amely mindig működik.

1. Sorolja a beszállítókat formátumtípusok szerint, és mindegyiket a legolcsóbb megbízható elemzőhöz irányítsa.
2. Minden beérkező fájlt tegyen karanténba, és feldolgozás előtt rögzítse a hash-ét.
3. A GTIN-t, a mértékegységet, a pénznemet, az árazási alapot és a csomagolást leképezés előtt determinisztikusan ellenőrizze.
4. A PDF-eket sablononként sémába nyerje ki sorhorgonnyal, oldalszámmal és bizalmi szinttel.
5. Egyeztesse a sorok számát és a variánskombinációkat az elvárttal.
6. Tiltsa a tárgyalt árak felülírását, és állítsa le az importot sémaeltérés esetén.
7. Tartson formátumtípusonként referenciakészletet, és minden modell- vagy promptváltáskor futtassa újra.
8. Tegyen közzé beszállítónkénti értékelőlapot, és ehhez kösse az automatizálás szintjét.

Egy rögzített hatókörű pilot 10–20 beszállítóval, két-három formátumtípuson elég ahhoz, hogy a további beszállítók bekötése előtt megmérje a beavatkozás nélküli arányt és a javítási arányt. Ha segítség kell a tervezéshez, nézze meg a B2B e-kereskedelmi munkámat.

Források

1. GS1: Everyone needs better product data (Global Data Model)
2. BME: BMEcat downloads (version 2005.2)
3. ETIM International: exchange format (ETIM xChange)
4. ETIM International: model information
5. GS1: check digit calculator
6. Pimcore: Data Importer
7. Akeneo: Supplier Data Manager
8. Amazon Textract pricing
9. Anthropic: Claude pricing
10. GS1 US: data quality
11. GS1 US: National Data Quality Program
12. Unite: catalogue format BMEcat 1.2