Visuelle Suche für B2B-Shops: Bildeinbettungen, Teilenummern und ehrliche Grenzen

Visuelle Suche lässt Kunden mit einem Foto statt einer getippten Anfrage beginnen: ein Bild eines Typenschildes, ein Foto eines verschlissenen Teils oder eine Aufnahme einer Einkaufsliste. Im B2B-Shop ist das eine attraktive Funktion und zugleich eine überschätzte. Ein Foto ist nicht ein Problem. Ein Etikett ist vor allem ein OCR-Problem mit einer Katalogvorgabe, ein unbekanntes Teil ist ein Problem der Bildähnlichkeit, und ein verschlissenes Teil ist eine Suche, in der das Bild nur einen Hinweis liefert. Kein einzelnes Modell löst alle drei gut, und für einige davon ist die Textsuche, die Sie ohnehin betreiben, das bessere Werkzeug.

Dieser Artikel behandelt die Bildmodalität von Anfang bis Ende: was jede Aufgabe braucht, worin sich Bildeinbettungen und Bild-zu-Text-Suche unterscheiden, wie man Teilenummern aus einem Foto liest, wie man Bildergebnisse mit Text und Filtern kombiniert, was es kostet, wie man es bewertet und wann man es nicht bauen sollte. Er setzt dort an, wo semantische Produktsuche im B2B bei der Textsuche aufhört, und setzt voraus, dass Sie die Wahl eines Einbettungsmodells kennen. Die Vektorspeicherung behandelt der Artikel zu pgvector. Plattform- und Preisangaben gelten Stand Oktober 2026.

Wofür ist visuelle Suche im B2B-Shop gut?

Visuelle Suche zahlt sich bei drei Aufgaben aus. Ein Kunde fotografiert ein Etikett oder ein Typenschild und braucht die genaue Teilenummer. Ein Kunde fotografiert ein Teil, dessen Namen er nicht kennt, und möchte ähnliche Artikel sehen. Ein Techniker im Feld fotografiert ein verschlissenes oder defektes Teil und möchte das Ersatzteil finden, zu dem es gehört. Jede Aufgabe hängt von einem anderen Signal ab: bei der ersten von Zeichen, bei der zweiten von Form und Erscheinung, bei der dritten von Kontext und einem Ersatzteilkatalog.

Die kurze Antwort lautet: Visuelle Suche lohnt sich für die Etikett-Aufgabe und die Aufgabe mit dem unbekannten Teil, und erst dann, wenn die getippte Suche gut funktioniert. Als Ersatz für eine Teilenummer taugt sie wenig. Ein Foto eines verschlissenen Lagers zeigt selten die Details, die zwei fast gleich aussehende Größen trennen, deshalb braucht die Ergebnisliste eine Person, die den Treffer bestätigt, und der Shop sollte das auf der Seite sagen.

Wie machen Bildeinbettungen ein Foto durchsuchbar?

Ein Bildeinbettungsmodell bildet ein Bild auf einen Vektor ab und Text auf Vektoren im selben Raum, sodass ein Foto über die Kosinusähnlichkeit mit Produktvektoren verglichen werden kann. Die meisten aktuellen Optionen stammen aus kontrastivem Vortraining. CLIP lernte, welche Bildunterschrift zu welchem Bild gehört, aus 400 Millionen Bild-Text-Paaren aus dem Internet. Im Zero-Shot-Transfer erreichte es das ursprüngliche ResNet-50 auf ImageNet, ohne eines der 1,28 Millionen Trainingsbeispiele von ImageNet zu verwenden (Radford et al.). SigLIP 2 behält diesen Ansatz bei und ergänzt Ziele für semantisches Verständnis, Lokalisierung und dichte Merkmale. Es erscheint als mehrsprachige Familie von 86 Mio. bis 1 Mrd. Parametern, mit einer Variante für dynamische Auflösung (Hugging Face).

Kein einzelnes Modell gewinnt überall. MIEB umfasst 38 Sprachen, 130 Aufgaben in acht Kategorien und 50 Modelle und stellt fest, dass keine einzelne Methode über alle Aufgabenkategorien dominiert, mit klaren Schwächen in einzelnen Bereichen (MIEB). Testen Sie mit Ihren eigenen Produkten, statt den Sieger der Rangliste zu wählen.

Der Raum kodiert grobe Erscheinung und Typ: Form, Farbe, Material und ob etwas wie ein Lager oder ein Schlauchanschluss aussieht. Exakte Zeichen, Stückzahlen oder Seriennummern kodiert er nicht zuverlässig. Eine Nächste-Nachbarn-Suche für das Foto eines Lagers kann ein optisch ähnliches Lager mit anderer Bohrung liefern, und die Distanz verrät das nicht. Gestalten Sie um diese Grenze herum, denn Feintuning beseitigt sie nicht.

Die Pipeline ist kurz. Betten Sie jedes Produktbild einmal ein und speichern Sie den Vektor zusammen mit der Modellversion, die ihn erzeugt hat. Zur Abfragezeit betten Sie das Kundenfoto ein, führen eine approximative Nächste-Nachbarn-Suche aus und filtern anschließend. In PostgreSQL bietet pgvector die Spalten vector und halfvec mit den Indizes HNSW und IVFFlat. Laut README hat HNSW die bessere Abfrageleistung als IVFFlat, dafür langsamere Aufbauzeiten und einen höheren Speicherbedarf (pgvector).

Ist die Bild-zu-Text-Suche einfacher als Einbettungen?

Oft ja. Der Abkürzungsweg, der 2026 gut funktioniert, macht aus dem Bild Text und nutzt die Textsuche, die der Shop ohnehin hat. Ein Vision-Sprachmodell sieht sich das Foto an und liefert einen Suchbegriff oder Produktnamen, den Rest erledigt die normale Suche. Search by Image von Spryker folgt diesem Muster. Es analysiert das hochgeladene Foto, leitet einen Suchbegriff ab und leitet den Kunden standardmäßig zu den Katalogergebnissen weiter, alternativ zur ersten passenden Produktseite. Akzeptiert werden JPEG, PNG, WebP und GIF. Die Dokumentation nennt zwei Fälle: die Identifikation eines verschlissenen oder defekten Teils an Maschinen vor Ort und die Identifikation von Artikeln, wenn Etiketten, Barcodes oder Verpackungen fehlen oder unlesbar sind (Spryker).

Der Nachteil: Der Textschritt erbt jede Schwäche der Textsuche, und ein falscher Begriff gibt dem Kunden kein sichtbares Signal. Zeigen Sie den abgeleiteten Begriff, lassen Sie den Kunden ihn ändern und zeigen Sie den getroffenen Begriff neben den Ergebnissen, damit ein falscher Tipp mit einem Klick korrigiert ist.

Visual Add to Cart von Spryker wendet dieselbe Idee auf eine Einkaufsliste auf der Schnellbestellseite an. Das Modell liefert erkannte Produkte und Mengen. Jeder Name wird mit einer konfigurierbaren Textähnlichkeitsschwelle gegen den Katalog abgeglichen, die standardmäßig 30 % Wortüberlappung beträgt, und das Formular wird mit SKUs und Mengen vorausgefüllt. Die Standardwerte sind JPEG oder PNG, höchstens 10 MB und 20 Produkte pro Bild; der Systemprompt ist im Back Office editierbar (Spryker). Stellen Sie zuerst die Schwelle ein: Ist sie zu niedrig, bekommt eine falsche SKU eine Menge; ist sie zu hoch, sieht der Kunde eine Liste mit Fehlanzeigen.

Die Variante mit Vektorindex ersetzt den mittleren Schritt durch eine Einbettungssuche. Beide Varianten münden im selben Katalog und auf derselben Ergebnisseite, sodass sich der Rest des Shops nicht ändert.

Wie liest man ein Etikett oder eine Teilenummer aus einem Foto?

Lesen Sie die Zeichen mit OCR, vertrauen Sie der Rohausgabe aber nicht. Cloud-OCR ist der schnellste Weg zu einem funktionierenden Prototyp. Google Cloud Vision rechnet pro Funktion auf ein Bild ab: Die ersten 1.000 Einheiten pro Monat sind kostenlos, danach 1,50 $ je 1.000 Einheiten bis 5 Millionen Einheiten und 0,60 $ je 1.000 darüber, Stand Oktober 2026 (Google Cloud). Eine selbst betriebene Engine ergibt Sinn, wenn Fotos Daten enthalten, die Sie an keinen Dritten geben dürfen, oder wenn das Volumen die Stückpreise zum falschen Modell macht. Die Kosten wandern dann in Engineering und GPU-Zeit.

Die Fehler sind vorhersehbar. Schriftarten verwechseln O und 0, I und 1 sowie B und 8. Geprägte Metallschilder spiegeln, und ein schräg fotografiertes Etikett liefert nur die halbe Zeichenkette. Zwei Prüfungen helfen. Hat die Nummer eine Standardstruktur, validieren Sie sie: Eine GTIN trägt eine Prüfziffer, und python-stdnum implementiert die Berechnung für EAN, UPC und GTIN (python-stdnum). Herstellerteilenummern haben meist keine Prüfziffer, deshalb ist der praktische Weg der Abgleich mit dem Katalog. SymSpell führt eine Wörterbuchsuche innerhalb einer festgelegten Editierdistanz durch und ist MIT-lizenziert, sodass es gegen Ihre eigene Teileliste laufen kann (SymSpell). Geben Sie die besten Kandidaten mit Konfidenzwerten zurück und lassen Sie den Kunden wählen, statt den ersten Treffer zu übernehmen.

Wie kombiniert man Bildergebnisse mit Text und Filtern?

Reine Bildähnlichkeit liefert Dinge, die richtig aussehen und sich nicht kaufen lassen. Der Hebel für Qualität ist der Attributfilter: Kategorie, Gewindenorm, Material, Verfügbarkeit, freigegebener Lieferant. Holen Sie Kandidaten aus mehr als einem Signal: dem Bildvektor, einem Textvektor aus eingegebenen Wörtern und einem Schlagwortindex, und wenden Sie die Attributfilter innerhalb derselben Abfrage an. Schlagwortabgleich ist wichtig, weil eine exakte Bohrungsgröße oder eine Normbezeichnung oft das entscheidende Merkmal ist und ein Vektor es verwischt. Die beiden Pfade unten zeigen, wo Bild- und Textsignal zusammentreffen.

Prüfen Sie die Modelllizenz, bevor ein Modell in einen Shop kommt. jina-clip-v2 ist ein leistungsfähiges mehrsprachiges Modell, steht aber unter CC-BY-NC-4.0, was kommerzielle Nutzung ohne gesonderte Vereinbarung ausschließt (Jina AI). Der multimodale Reranker desselben Anbieters steht unter derselben Lizenz. Wählen Sie ein Modell mit freizügiger Lizenz oder holen Sie vorab eine schriftliche Genehmigung ein.

Setzen Sie einen multimodalen Reranker ans Ende, nicht an den Anfang. Er bewertet die Top-50-Kandidaten der ersten Stufe gegen das Foto neu, sodass seine Kosten mit 50 skalieren und nicht mit dem Katalog. Messen Sie auf Ihrem beschrifteten Satz, ob er Top-5 verändert. Bei einem kleinen Katalog erhöht er möglicherweise nur die Latenz. Die folgende Abfrage zeigt die erste Stufe mit den Filtern im selben Statement.

-- Candidates by image vector and attribute filters; the reranker only sees the top 50
SELECT p.sku, p.name, e.embedding <=> $1::halfvec AS distance
FROM product_image_embeddings AS e
JOIN products AS p ON p.sku = e.sku
WHERE e.model_version = $2
  AND p.category_id = $3
  AND p.is_orderable
  AND p.thread_standard = $4          -- optional attribute filter
ORDER BY e.embedding <=> $1::halfvec
LIMIT 50;

Testen Sie mit eingeschalteten Filtern. Ein approximativer Index in Verbindung mit einem selektiven Filter kann weniger Zeilen liefern als das Limit vorgibt. Prüfen Sie daher Trefferzahl und Recall unter realistischen Filterkombinationen, nicht nur ohne Filter.

Was kostet es, und wie misst man es?

Die Einbettung kostet pro Foto wenig, der größere Posten ist der Speicher. Die multimodalen Modelle von Voyage AI listen Stand Oktober 2026 0,12 $ pro Million Text-Token und 0,60 $ pro Milliarde Pixel, mit kostenlosen Kontingenten von 200 Millionen Text-Token und 150 Milliarden Pixeln. Bilder unter 50.000 Pixeln werden wie 50.000 berechnet, Bilder über 2 Megapixel werden verkleinert (Voyage AI). Eine Million Produktfotos mit 1 Megapixel ergeben etwa eine Milliarde Pixel, also rund 0,60 $ zum Listenpreis. Eine einmalige Nachberechnung ist daher klein gegenüber der Engineering-Zeit. Laufende Kosten sind der Abfrage-Traffic und die Neuberechnung bei einem Modellwechsel.

Speicher ist Rechnerei. pgvector speichert einen halfvec mit 2 × Dimensionen + 8 Bytes und einen vector mit 4 × Dimensionen + 8 Bytes (pgvector). Eine Million SKUs mit 1.152-dimensionalen halfvec-Einbettungen ergeben etwa 2,3 GB Tabellendaten vor dem Index. Das ist eine Berechnung, kein Benchmark; messen Sie Ihre eigene Indexgröße. Halten Sie je Modellversion eine eigene Einbettungstabelle, damit Sie bei einer Migration zwei Modelle nebeneinander betreiben können.

Bewerten Sie mit Ihren eigenen beschrifteten Fotos, nicht mit einer öffentlichen Rangliste. Kein öffentlicher Benchmark deckt Kataloge industrieller Teile ab, und die berichtete OCR-Genauigkeit bei Typenschildern schwankt je nach Datensatz stark; eine Zahl aus einer Veröffentlichung lässt sich deshalb nicht auf Ihren Shop übertragen. Sammeln Sie für jede Aufgabe einen Fotosatz, beschriften Sie die richtige SKU und berichten Sie Top-1, Top-5 und Recall@10 getrennt je Aufgabe, zusammen mit der Quote ohne Treffer. Ergänzen Sie eine Negativmenge mit Fotos von Produkten, die nicht im Katalog stehen. Eine Suche, die immer etwas zurückgibt, scheitert an dieser Menge.

Wann sollten Sie visuelle Suche nicht bauen?

Bauen Sie zuerst den Textpfad. Eine Teilenummer, die ins Suchfeld getippt oder eingefügt wird, ist ein Problem der unscharfen Übereinstimmung. Die Fuzzy-Abfrage von Elasticsearch gleicht Begriffe bereits innerhalb einer Levenshtein-Editierdistanz ab, mit fuzziness: AUTO und Grenzen für Präfixe und Erweiterungen (Elastic). Ergänzen Sie Synonyme für alte und neue Teilenummern, ein sauberes Attributmodell und Suchanalysen: Abbruchquote in der Suche, Anfragen ohne Treffer und Umformulierungen. Diese drei Auswertungen zeigen, ob Bilder einen echten Identifikationsfehler beheben oder nur eine Datenlücke.

Verzichten Sie auf visuelle Suche, wenn die meisten Anfragen ohne Treffer fehlende Produkte oder fehlende Attribute betreffen, denn kein Modell findet ein Teil, das der Katalog nicht enthält. Verzichten Sie darauf, wenn Kunden selten ein Foto zur Hand haben oder das typische Foto mit dem Handy bei schlechtem Licht ohne lesbares Etikett entstünde. Bauen Sie sie, wenn der Textpfad bei der Identifikation nachweislich versagt und mindestens eine der drei Aufgaben in Ihrem Traffic häufig vorkommt.

Mein Rat, aus meiner Arbeit an Spryker- und Pimcore-Katalogen, lautet: mit Toleranz bei Teilenummern und Synonymen beginnen und die Suchabbruchquote messen, bevor Sie Einbettungen kaufen. Eine Bildfunktion auf einem schwachen Katalog macht die Schwäche nur schwerer sichtbar.

Wie sieht eine Build-Checkliste aus?

Betrachten Sie die folgende Liste als Minimum für eine erste Version.

1. Aufnahme: ein Dateifeld für Bilder, eine Vorschau vor dem Upload und ein klarer Weg zum erneuten Fotografieren.
2. Serverseitig prüfen: den tatsächlichen Dateityp statt der Endung prüfen, die Größe begrenzen und alles ablehnen, was der Decoder nicht öffnen kann.
3. Metadaten entfernen: EXIF-Daten einschließlich GPS-Koordinaten entfernen, bevor das Foto gespeichert oder an ein Modell gesendet wird.
4. Warteschlange: Produktbilder in einem Hintergrundjob indexieren und Kundenfotos über dieselbe Warteschlange einbetten, wenn das Latenzbudget es erlaubt.
5. Versionierte Einbettungen: eine Tabelle je Modellversion mit dem Modellnamen in jeder Zeile, damit ein Modellwechsel eine Nachberechnung ist und kein Umbau.
6. Pfad ohne Treffer: den abgeleiteten Begriff zeigen, ein Textfeld anbieten und statt eines leeren Rasters auf eine Kategorieseite verlinken.
7. Katalogbeschränkte OCR: OCR-Ausgabe mit Konfidenzwerten gegen das Teileverzeichnis abgleichen und bei niedrigem Wert nie automatisch in den Warenkorb legen.
8. Datenschutzprüfung: festhalten, was Kunden fotografieren, wie lange Fotos aufbewahrt werden und welche Anbieter sie erhalten.
9. Bewertungsschranke: der beschriftete Satz einschließlich der Negativfälle läuft vor jeder Modell- oder Schwellenänderung.

Auf meiner eigenen Nuxt-Website, wo LLM-Funktionen laufen, behandle ich Modellausgaben als ungeprüfte Eingaben: Format prüfen, Größe begrenzen und immer einen Weg für eine Antwort ohne Treffer offenhalten. Dieselbe Disziplin gilt für einen Kamera-Button im Shop. Wenn Sie die Suche für einen B2B-Katalog planen und den Textpfad messen wollen, bevor ein Bildmodell hinzukommt, sehen Sie sich meine B2B-E-Commerce-Arbeit an.

Quellen

1. CLIP: Learning Transferable Visual Models From Natural Language Supervision (2021)
2. Hugging Face: SigLIP 2 release (2025)
3. MIEB: Massive Image Embedding Benchmark (2025)
4. jina-clip-v2 model card (CC-BY-NC-4.0)
5. pgvector: README
6. Spryker docs: Search by Image
7. Spryker docs: Visual Add to Cart
8. Google Cloud: Vision API pricing
9. Voyage AI: pricing
10. python-stdnum: EAN, UPC and GTIN module
11. Elasticsearch: fuzzy query
12. SymSpell (GitHub)