Sony: Bildsensor mit integrierter KI verzichtet auf Cloud-Analyse

Sony hat den ersten Bildsensor vorgestellt, der künstliche Intelligenz zur Bildanalyse und Bildverarbeitung auf dem Logikchip bietet. So müssen Daten nicht erst in die Cloud geladen und analysiert werden. Dies soll nicht nur Geschwindigkeitsvorteile bringen, sondern insbesondere auch den Schutz sensibler Daten verbessern.

Die beiden Sensoren führt Sony als „Intelligent Vision Sensors“. Durch die KI-Verarbeitung auf dem Chip können die Daten, die in die Cloud geladen werden, auf ein erforderliches Minimum reduziert werden, was die Latenzen der Datenübertragung verkürzt, Datenschutzvorgaben Rechnung trägt und den Energieverbrauch und die Kommunikationskosten senkt.

Muster werden bereits ausgeliefert

Für Smartphones, bei denen Sony mit den hauseigenen Kamerasensoren eine Vormachtstellung inne hat, sollen die neuen Sensoren zunächst jedoch nicht eingesetzt werden. Stattdessen sollen sie in KI-fähigen Kameras etwa im Einzelhandel oder Industrieausrüstungssektor eingesetzt werden. Die hintergrundbeleuchteten Sensoren IMX500 und IMX501 (Package-Variante) bieten 12,3 Megapixel bei 1/2.3 Zoll und eine Diagonale von 7,857 mm. 4K-Aufnahmen sind mit 60 FPS möglich, in Full HD werden bis zu 240 FPS ermöglicht. Der Logikchip gibt Metadaten mit 30 FPS aus. Soll Video und KI gleichzeitig verarbeitet werden, sind 30 FPS möglich. Die Musterauslieferung des IMX500 ist im April erfolgt, für den IMX501 soll sie im Juni anlaufen. Der Musterpreis des IMX500 liegt bei rund 87 Euro, für den IMX501 sind es 173 Euro. Da Sony einen Marktanteil von rund 60 Prozent im Segment der Kamerasensoren inne hat, wird sich die Technologie schnell verbreiten. Allein im letzten Jahr hat Sony rund 1,6 Milliarden Kamerasensoren ausgeliefert. Sony rechnet mit ersten Produkten, die die neuen Sensoren nutzen, im ersten Quartal 2021.

Logikchip gibt nur noch Metadaten aus

Die neuen Sensoren sind gestapelt aufgebaut und bestehen aus einem Pixelchip und einem Logikchip. Das Signal, das der Pixelchip erfasst, wird durch die KI auf dem Sensor verarbeitet, sodass keine Hochleistungsprozessoren oder externen Speicher benötigt werden. Der Sensor gibt anstelle von Bildinformationen Metadaten aus (d.h. semantische Informationen zu den Bilddaten), was nicht nur die Datenmengen reduziert, sondern auch Datenschutzbedenken Rechnung trägt, da sie keine eindeutigen persönlichen Informationen wie Bildinformationen mehr enthalten. Darüber hinaus ermöglicht die KI-Fähigkeit Funktionen wie etwa Echtzeit-Objektverfolgung. So sei durch einen Sensor zwar eine Lokalisierung von Gesichtern möglich, aber nicht deren Wiedererkennung.

1. 

Bild 1 von 2

Kunden- und Waren im Einzelhandel erfassen

Die Benutzer können die KI-Modelle ihrer Wahl in den eingebetteten Speicher schreiben und sie je nach ihren Anforderungen oder den Bedingungen am Einsatzort des Systems auch neu schreiben und aktualisieren. Wenn beispielsweise mehrere Kameras, die diesen Sensor nutzen, in einem Ladengeschäft installiert sind, lassen sich mit einem einzigen Kameratyp verschiedene Standorte, Bedingungen, Zeiten oder Zwecke abdecken. Wird die Kamera im Eingangsbereich installiert, können damit die Kunden gezählt werden, die das Geschäft betreten. Wird sie an einem Regal angebracht, kann damit erkannt werden, wo Waren fehlen. Wenn die Kamera an der Decke installiert ist, kann sie zur Erstellung von Wärmebildern genutzt werden, um Bereiche zu erkennen, in denen viele Ladenbesucher zusammentreffen. Darüber hinaus kann das KI-Modell in einer Kamera neu geschrieben werden, sodass beispielsweise aus einem Modell zur Erkennung von Heatmaps ein Modell zur Ermittlung des Kundenverhaltens wird.

1. 

Bild 1 von 2

Amazon Go nutzt ähnliches System, aber in der Cloud

Einen ähnlichen Ansatz verfolgt Amazon in den eigenen Ladengeschäften Amazon Go, in denen über Kameras erfasst wird, welche Waren von den Besuchern eingekauft werden, um sie beim Verlassen des Ladens automatisch abzurechnen, ohne dass es eines Kassensystems bedarf. Dabei müssen bislang riesige Datenmengen in der Cloud verarbeitet werden.