GTC 2019: Wie Sony Autos sehen lässt
Sony ist mit seinen CMOS-Sensoren weltweit größter Zulieferer für Kameras in Smartphones. Das Unternehmen ist aber auch im Automotive-Segment aktiv und stellt dort spezielle CMOS-Sensoren zur Verfügung, die den hohen Anforderungen dieser Branche entsprechen. Auf der GTC 2019 gab Sony einen Einblick in die Materie.
In seiner Entwicklersession „Helping Autonomous Vehicles See the World“ ist Tsuyoshi Hara, Automotive Solution Architect bei Sony Electronics in San José, auf die Unterschiede zwischen herkömmlichen CMOS-Sensoren für Consumer-Produkte wie Smartphones und solcher für das Automotive-Segment eingegangen. Er machte diese an den vier Eigenschaften Dynamikumfang, Leistung bei niedriger Lichtstärke, Sichtfeld und Sichtweite sowie der Unabhängigkeit gegenüber extremen Temperaturen fest.
Sehen bei direkter Sonne und finsterer Nacht
Beim Dynamikumfang muss sich ein für das Automotive-Segment zertifizierter CMOS-Sensor schnell an unterschiedliche Lichtverhältnisse anpassen können, etwa um das grelle Licht bei Verlassen eines Tunnels auszugleichen. Hier decke ein Automotive-Sensor einen Dynamikumfang von 120 dB ab, der für direktes Sonnenlicht mit 120.000 Lux bis hin zur Nacht mit nur noch 0,1 Lux reiche. Als konkrete Beispiele nannte Tsuyoshi die CMOS-Sensoren IMX224, IMX324 und IMX424. Bei Nacht erreiche die neue Sensorfamilie eine hohe Empfindlichkeit bei gleichzeitig wenig Rauschen, während ein konventioneller Sensor eine niedrige Empfindlichkeit mit viel Rauschen verbinde.
-
Helles Licht bei Verlassen eines Tunnels
CMOS-Sensoren für Autos sind laut Sony dafür ausgelegt, in einem Temperaturbereich von minus 40 Grad Celsius bis hoch auf plus 105 Grad Celsius zu arbeiten. Hier zeigen sich Sonys Sensoren vor allem bei steigenden Temperaturen als äußert stabil bei der Erfassung des Umfelds und von Objekten. Laut Tsuyoshi könne ein Armaturenbrett im Auto bei einer Außentemperatur von 35 Grad Celsius durchaus 80 Grad Celsius erreichen. Im Gehäuse des CMOS-Sensoren können die Temperaturen zudem bis zu 15 Grad höher ausfallen, sodass ein Arbeitsbereich von bis zu 105 Grad Celsius schnell erreicht werde. Bei besonders niedrigen Temperaturen kommt es hingegen zu Verfälschungen, wenngleich einzelne Objekte nach wie vor erkennbar bleiben.
-
Verhalten des Sensors bei unterschiedlichen Temperaturen
Wie viel Fläche muss ein einzelnes Pixel sehen können?
Wie gut eine Kamera im Auto arbeitet, hängt auch von Faktoren wie den Scheinwerfern des Autos, Umgebungslicht, Größe, Kontrast, Reflexionsgrad von Objekten sowie der Wahl des Objektivs ab, um zum Beispiel ein enges oder breites Sichtfeld abzudecken. Je nach Anforderung könne die Wahl auf ein engeres Sichtfeld zugunsten einer höheren Sichtweite oder umgekehrt ausfallen. Und auch die Auflösung des Sensors spielt eine wichtige Rolle, da sie das Verhältnis von abgedeckter Fläche pro Pixel beeinflusst.
-
Einfluss von Auflösung und Sichtfeld auf die Objekterkennung
Zum Beispiel sei für einen Fußgänger oder Radfahrer eine Auflösung von mindestens 30 Millimetern pro Pixel empfehlenswert, sagte Tsuyoshi. Dieser Wert sei etwa bei einer Kamera mit 1,3 Megapixeln und 123 Grad Sichtfeld nicht mehr zu erreichen, während ein Sensor mit 2 Megapixeln noch den benötigten Detailgrad liefern könne. Ist das Ziel hingegen die Abdeckung der Ferne, müsse bei einem mit 180 km/h auf der Autobahn fahrenden Auto eine Entfernung von 500 Metern abgedeckt werden. Für eine Zielgröße von 75 Millimetern pro Pixel sei für dieses Szenario ein Sensor wie der IMX324/424 mit 7,42 Megapixeln bei 32 Grad breitem Sichtfeld notwendig. Ein Sensor mit 1,3 Megapixeln schaffe dies nur auf bis zu 175 Metern, mit 60-Grad-Sichtfeld sind es sogar nur noch 93 Meter. Deshalb müssen in einem autonomen Fahrzeug mehrere Kameras mit unterschiedlichen Sichtfeldern und Sichtweiten verbaut werden.
Zum Abschluss der Präsentation ging Tsuyoshi auf die Unterstützung von Sony-Sensoren mit dem Nvidia Drive AGX Xavier Developer Kit ein. Entwickler, OEMs und Tier-1-Zulieferer können von Nvidia und Sony speziell auf die CMOS-Sensoren angepasste Treiber erhalten, um über die Plattform Daten für das Training neuronaler Netze zu sammeln. Das Drive AGX Xavier Developer Kit kostet 1.299 US-Dollar.