iPadOS und iOS 18: Apple kündigt Steuerung per Augen für iPhone und iPad an

Es ist nur noch einen Monat hin zur WWDC 2024, doch schon jetzt hat Apple einen Ausblick auf kommende Bedienungshilfen in iOS 18 und iPadOS 18 gegeben. Dazu zählen das Steuern per Augen, haptische Musik, Vocal-Shortcuts, Echtzeit-Untertitel für die Vision Pro und vieles mehr.

Bedienungshilfen sollen die Navigation durch das Betriebssystem erleichtern und sind oftmals speziell für körperlich beeinträchtige Personen konzipiert – doch nutzen kann sie jeder. In den Einstellungen müssen diese zumeist separat aktiviert werden, zu finden ist der Großteil im „Bedienungshilfen“-Menü in den Einstellungen von iOS und iPadOS.

Steuerung per Augen für iPad und iPhone

Eine dieser Funktionen wird die Steuerung per Augen sein. Zusammen mit künstlicher Intelligenz soll die Bedienung so ganz ohne Hände und weiteres Zubehör möglich sein. Apple möchte das ganze komplett auf dem Gerät umsetzen und verwendet dafür die Frontkamera als auch maschinelles Lernen. Das iPad erkennt dann, wohin der Nutzer blickt und markiert die jeweiligen Bereiche, das ganze erinnert ein wenig an eine virtuelle Maus, wie ein Video von Apple zeigt. Gesten sollen ebenfalls unterstützt werden.

Powered by artificial intelligence, Eye Tracking gives users a built-in option for navigating iPad and iPhone with just their eyes. Designed for users with physical disabilities, Eye Tracking uses the front-facing camera to set up and calibrate in seconds, and with on-device machine learning, all data used to set up and control this feature is kept securely on device, and isn’t shared with Apple.

Eye Tracking works across iPadOS and iOS apps, and doesn’t require additional hardware or accessories. With Eye Tracking, users can navigate through the elements of an app and use Dwell Control to activate each element, accessing additional functions such as physical buttons, swipes, and other gestures solely with their eyes.

Apple

Bereits vor einigen Monaten hat Apple mit der Veröffentlichung der Vision Pro gezeigt, dass der Konzern die Steuerung per Augen beherrscht, aber ob die Umsetzung mit der Frontkamera an die mit dem MR-Headset herankommt, wird sich noch zeigen müssen. Die Funktion soll für iPad und iPhone erscheinen, welche Modelle genau unterstützt werden ist noch nicht bekannt, aber im Video zu sehen ist ein iPad ohne Face-ID. Somit wird die Funktion nicht auf das iPad Pro beschränkt sein.

Weitere Bedienungshilfen

Haptische Musik

Ferner hat Apple noch eine ganze Reihe weiterer Funktionen angekündigt: Im Herbst werden mit haptischer Musik „Millionen von Liedern in Apple Music“ durch die Taptic Engine im iPhone spürbar. Mittels API sollen Entwickler noch mehr Musik bereitstellen können. Eine kurze GIF zeigt, wie das iPhone zum abgespielten Song vibriert. Da iPads keinen Vibrationsmotor besitzen, wird diese Funktion wohl nur in iOS 18 zu finden ein.

Vocal Shortcuts

Ebenfalls vereinfachen möchte Apple die Verwendung von Siri. Mithilfe von Vocal Shortcuts können Nutzer der digitalen Assistentin Kurzphrasen, Neologismen und atypische Sprache beibringen. Dabei geht es nicht nur um das Verständnis: Erkennt Siri das Wort/Phrase, kann Sie automatisch einen Kurzbefehl auslösen, um Aufgaben zu erledigen. Auch hier greift Apple auf maschinelles Lernen zurück.

Fahrzeugbewegungshinweise

Darüber hinaus möchte Apple mit iOS 18 und iPadOS 18 einen Beitrag zur Verringerung von Reisekrankheit leisten. Mithilfe von kleinen Punkten, die sich der Bewegung des Fahrzeugs anpassen, soll erreicht werden, dass die gefühlte und die tatsächliche Bewegung sich angleichen.

Echtzeituntertitel für Konversationen

Mithilfe von Echtzeituntertiteln für Konversationen in der Realität sowie beim Konsum virtueller Inhalte erhält auch die Vision Pro Bedienungshilfen. Die Untertitel können zudem im Raum verschoben werden und unterstützen Hörgeräte, die am „Made-for-iPhone“-Programm teilnehmen.

Weitere Funktionen in iOS 18 und iPadOS 18

• For users who are blind or have low vision, VoiceOver will include new voices, a flexible Voice Rotor, custom volume control, and the ability to customize VoiceOver keyboard shortcuts on Mac.
• Magnifier will offer a new Reader Mode and the option to easily launch Detection Mode with the Action button.
• Braille users will get a new way to start and stay in Braille Screen Input for faster control and text editing; Japanese language availability for Braille Screen Input; support for multi-line braille with Dot Pad; and the option to choose different input and output tables.
• For users with low vision, Hover Typing shows larger text when typing in a text field, and in a user’s preferred font and color.
• For users at risk of losing their ability to speak, Personal Voice will be available in Mandarin Chinese. Users who have difficulty pronouncing or reading full sentences will be able to create a Personal Voice using shortened phrases.
• For users who are nonspeaking, Live Speech will include categories and simultaneous compatibility with Live Captions.
• For users with physical disabilities, Virtual Trackpad for AssistiveTouch allows users to control their device using a small region of the screen as a resizable trackpad.
• Switch Control will include the option to use the cameras in iPhone and iPad to recognize finger-tap gestures as switches.
• CarPlay gets [...] more Accessibility Updates [...] includ[ing] Voice Control, Color Filters, and Sound Recognition.
• Voice Control will offer support for custom vocabularies and complex words.

Welttag für Barrierefreiheit

Apple hat die Funktionen in einem Blogeintrag vorgestellt und stellt diese im Rahmen des heutigen Welttags für Barrierefreiheit (GAAD) vor. Dieser findet jährlich Mitte Mai statt und Apple hat hier bereits in der Vergangenheit Bedienungshilfen vorgestellt, so auch im Mai 2023.

Veröffentlichung mit iOS 18 und iPadOS 18 im Herbst

Die Features werden vermutlich mit iOS 18 und iPadOS 18 eingeführt, auch wenn Apple nur grob von einer Veröffentlichung im Herbst spricht. In diesem Zeitraum werden auch die Hauptversionen der beiden neuen Betriebssysteme für iPad und iPhone erwartet, die Anfang Juni auf der WWDC 24 (Thema) vorgestellt werden. Ein großer Schwerpunkt wird hier auf künstlicher Intelligenz liegen. Das Wort kam im Blogeintrag insgesamt sechs mal vor – früher verwendete der Konzern lieber ausschließlich „maschinelles Lernen“.

Der Artikel wurde nach Veröffentlichung um einen Hinweis zur Geräte-Kompatibilität der Augensteuerung ergänzt