« Forschungslandschaft: Projekte

Die Erkennung von Lebensmitteln in Supermärkten birgt mehrere Herausforderungen, da Lebensmittel eine geringe Varianz zwischen den Klassen und innerhalb der Klassen aufweisen. Die geringe Inter-Klassen-Varianz ist gegeben, weil verschiedene Produkte erhebliche visuelle Ähnlichkeiten aufweisen. Die Datensätze enthalten in der Regel Bilder aus der realen Welt und Referenzbilder, was zu einer Intraklassenvarianz führt. Die visuelle Erscheinung von Produkten ändert sich im Laufe der Zeit, und ihre Anzahl wächst ständig, weil Designs überarbeitet oder neue Produkte veröffentlicht werden. Standardmethoden zur Objektklassifizierung sind in großem Maßstab nicht anwendbar, da die Modelle kontinuierlich angepasst werden müssen, um diese sich ändernden Bedingungen zu entspannen.

In diesem Projekt nutzen wir die Tatsache, dass alle Klassen zum Zeitpunkt des Trainings bekannt sein müssen, indem wir Methoden aus der Gesichtserkennung und Metawissen aus zusätzlichen Sensorinformationen verwenden. Die Situation basiert auf der Erkennung von Lebensmitteln in unbekannten Supermärkten, z. B. ohne wesentliche infrastrukturelle Veränderungen. Die Kernidee ist die Erweiterung von Gesichtserkennungsmethoden und die Feinabstimmung bekannter Architekturen, um die feinkörnigen visuellen Unterschiede von Lebensmittelprodukten zu unterscheiden. Die benötigten Trainingsbilder werden halbautomatisch aus Sensordaten generiert, die mit modernen Smart Glasses erfasst werden, z.B. die Trajektorie des Nutzers und ein Modell der Umgebung. Produktkandidaten in realen Bildern werden mithilfe eines Schiebefenster-Ansatzes gefunden, der die Beobachtung nutzt, dass Produkte in Regalen angeordnet sind.