Snapdragon 888 im Detail: Spectra 580 als Triple-ISP und Hexagon 780 als DSP

Deutlich überarbeitet hat Qualcomm den jetzt Spectra 580 getauften Bildprozessor (ISP), der Anforderungen an moderne Smartphone-Kameras besser gerecht werden soll. Aus dem Dual-ISP des Snapdragon 865 wird ein Triple-ISP mit Triple-Concurrency (Gleichzeitigkeit), was bedeutet, dass die Signale von drei Kameras parallel und wahlweise stets im Hintergrund verarbeitet werden können. Wo bisher die Signale von zwei Kameras mit bis zu 25 Megapixeln bei 30 FPS und „Zero Shutter Lag“ (ZSL) verarbeitet werden konnten, sind es nun drei Kameras mit jeweils bis zu 28 Megapixeln. Der maximale Datendurchsatz steigert sich damit von 2 auf 2,7 Gigapixel pro Sekunde.

Triple-Bildprozessor für schnellen Wechsel

Triple-Concurrency erlaubt einen unterbrechungsfreien Wechsel unter den einzelnen Kameras. Wo Qualcomm beim Dual-ISP bisher quasi raten musste, auf welche Kamera der Anwender im laufenden Videomodus potenziell wechseln könnte, soll bei der parallelen Auswertung von drei Kameras keine Verzögerung mehr sichtbar sein, da ohnehin alle drei Sensoren im Hintergrund vom Bildprozessor verarbeitet werden.

Fotos mit 10 Bit Farbtiefe im Rec.-2020-Farbraum

Mit dem Spectra 580 können nun erstmals auch Fotoaufnahmen mit 10 Bit Farbtiefe im erweiterten Rec.-2020-Farbraum erstellt werden. Für Fotoaufnahmen mit 10 Bit Farbtiefe und Rec. 2020 wird unter Android die Nutzung des Container-Dateiformates HEIF vorausgesetzt. Die 10-Bit-/Rec.-2020-Unterstützung war bisher Videoaufnahmen vorbehalten, wo Qualcomm zuerst mit dem Snapdragon 845 HDR10 und HLG unterstützte. Mit dem Snapdragon 855 kam 2018 das dynamische HDR10+ hinzu, seit dem Snapdragon 865 wird zudem Dolby Vision geboten.

Videos mit mehrstufiger HDR-Belichtung

An Eigenschaften wie maximale Auflösung (8K30) oder Framerate (960 FPS @ 720p) für Videos ändert sich mit dem Snapdragon 888 nichts, doch zieht im Bereich HDR nun auch hier die abgestufte Belichtung für jeden Frame ein, sodass jeder einzelne Frame aus drei Aufnahmen mit kurzer, mittlerer und langer Belichtung besteht, um einen besonders großen Dynamikumfang zu erzielen. Die Implementierung dieses Features in den Snapdragon 888 erfolgte in Vorbereitung auf sogenannte Staggered-HDR-Sensoren, die kommendes Jahr erstmals in Smartphones zum Einsatz kommen sollen und die eine mehrstufige HDR-Belichtung von Fotos auf Videos übertragen können.

KI unterstützt Autofokus und Belichtungsautomatik

Der Spectra 580 arbeitet im Snapdragon 888 mit der sechsten Generation KI-Engine zusammen und bietet über diese erstmals eine KI-gestützte Fokus- und Belichtungsautomatik, die wiederum Bestandteil von Qualcomms mittlerweile zehnter Generation 3A-Algorithmen für Autofokus, Belichtungsautomatik und automatischen Weißabgleich sind. Die neuronalen Netze für den Autofokus und die Belichtungsautomatik hat Qualcomms Entwickler trainiert, indem unter anderem mehreren Probanden VR-Headsets aufgesetzt wurden und via Eye-Tracking beobachtet wurde, auf welche Bereiche einer Aufnahme sich die Anwender fokussieren.

KI-Engine leistet in Summe 26 TOPS

Die sechste Generation KI-Engine beschreibt einen Verbund mehrerer Hardware-Blöcke im Snapdragon 888, darunter der Hexagon 780 als DSP, die CPU und die GPU. Aber auch den „Sensing Hub“, der Daten aus der Konnektivität wie 5G und Bluetooth sowie der Standortbestimmung bezieht, zählt Qualcomm dazu. Die Leistung aller Bausteine der KI-Engine zusammen gibt Qualcomm mit 26 statt zuvor 15 TOPS an. Zum Vergleich: Beim Snapdragon 855 waren es 7 TOPS, Apple nennt beim A14 Bionic 11 TOPS nur für die Neural Engine und die Dual-Core-NPU des Samsung Exynos 990 schafft 15 TOPS.

Hexagon 780 vereint Beschleuniger mit mehr Speicher

Der nach CPU und GPU größte Baustein der KI-Engine ist der Hexagon 780 als DSP, bei dem Qualcomm die zuvor getrennten Beschleuniger für Skalare, Vektoren und Tensoren zusammenführt und diese um einen um den Faktor 16 vergrößerten dedizierten Zwischenspeicher ergänzt, damit Operationen seltener auf den DRAM ausgelagert werden müssen. Wie groß der neue Speicher ist oder im Snapdragon 865 war, hält Qualcomm auf Nachfrage jedoch unter Verschluss. Die Option, bei vollem Speicher auf den langsameren DRAM auszuweichen, besteht aber weiterhin. Weil die Beschleuniger nun direkt miteinander verbunden sind, soll sich der Datenaustausch untereinander um den Faktor 1.000 auf wenige Nanosekunden reduzieren.

Eine universelle API soll es richten

Für die Skalar-Beschleuniger gibt Qualcomm eine Leistungssteigerung um 50 Prozent und für die Tensor-Beschleuniger eine Steigerung um 100 Prozent an. Über die „Hexagon Vector eXtensions“ (HVX) der Vektor-Beschleuniger können mehr Datentypen als im Vorjahr verarbeitet werden. Im Bereich der GPU werden 4-Input-Mixed-Precision-Skalarprodukte und Wave-Matrix-Multiply für 16 und 32 Bit Floating-Point als neue Instruktionen unterstützt. Nur auf die GPU bezogen gibt Qualcomm die KI-Leistungssteigerung mit 43 Prozent gegenüber der Adreno 650 an.

Zugriff auf die Hardware erhalten Entwickler über „AI Engine Direct“, das das letztjährige „Hexagon NN Direct“ ablöst, mit dem nur der Hexagon-DSP angesprochen werden konnte. Über die zur fünften Generation KI-Engine kompatible API soll eine einheitliche Schnittstelle für alle Bausteine entstehen, die vom Qualcomm Neural Processing SDK, Googles TensorFlow Lite und Androids Neural Networks API genutzt werden kann.

Sensing Hub arbeitet sparsam im Hintergrund

Über den „Sensing Hub“, der im Snapdragon 888 in zweiter Generation vorliegt, wickelt Qualcomm Always-on-Funktionen ab, die auf dem Smartphone stetig im Hintergrund laufen. Erkannt werden zum Beispiel Vorgänge wie das Anheben des Mobilgeräts, um das Display zu aktivieren, Erdbeben und Autounfälle sowie Sprachbefehle, etwa wenn auf Hotwords wie „Ok Google“ oder „Alexa“ gewartet wird. 80 Prozent der Aufgaben, die vor der Einführung des „Sensing Hub“ über den größeren Hexagon-DSP abgewickelt werden mussten, können Qualcomm zufolge nun mit dem neuen Baustein bei einem Stromfluss von unter 1 Milliampere durchgeführt werden.

Damit Entwickler einfacheren Zugriff auf den „Sensing Hub“ erhalten, arbeitet Qualcomm mit Google zusammen, um deren TensorFlow-Micro-Framework für die Beschleunigung auf dem Hexagon-DSP und dem KI-Prozessor im „Sensing Hub“ zu optimieren. Der „Sensing Hub“ erhält in zweiter Generation auch Informationen rund um die Konnektivität des SoCs, also von 5G, Wi-Fi, Bluetooth und der Standortbestimmung.