Copilot Vision: Details zum AI-Assistent, der den Bildschirminhalt versteht
Gemeinsam mit dem offiziellen Rollout von Windows 11 24H2 hat Microsoft neue Funktionen für den Copilot-Assistenten angekündigt. Dazu zählt auch die Vision-Funktion, die die Bildschirmtätigkeiten als Eingabe nutzt, um den Nutzer bei aktuellen Tätigkeiten zu unterstützen.
Copilot Vision arbeitet mit dem Bildschirminhalt
Diese Funktion sorgte bei Microsofts Entwicklerkonferenz im Frühjahr für Aufsehen. Dort wurde gezeigt, wie der KI-Assistent in der Lage war, den Windows-Nutzer bei einer Minecraft-Partie zu beraten. Die Steuerung erfolgte per Spracheingabe, der Assistent konnte Spielmechaniken erklären.
Bei der aktuellen Ankündigung präsentiert Microsoft nun, wie Copilot Vision den Inhalt von Bildern beschreibt. Das umfasst sowohl die Aufnahme einer Frau als auch das Bild eines Rezepts.
Was die Erfahrungen mit Recall gezeigt haben: Wenn der AI-Assistent den Bildschirm auswertet, spielen Privatsphäre-Bedenken eine wesentliche Rolle. Offenbar hat auch Microsoft aus dem Debakel gelernt. So ist die Vision-Funktion Opt-In, muss also vom Nutzer aktiviert werden. Beschränkt sind auch die Einsatzorte. So kann der Assistent zwar Webseiten auswerten, aus Sicherheitsgründen ist das aber vorerst nur bei einer begrenzten Anzahl populärer Webseiten möglich.
Ohnehin befindet sich Copilot Vision noch im Testbetrieb. Verfügbar sein wird es zunächst nur über die Copilot Labs – ein Programm, bei dem Nutzer generell Funktionen testen können, die sich noch in einem experimentellen Status befinden. Später kommt Vision dann für eine begrenzte Anzahl von Copilot-Pro-Abonnenten in den USA.
Copilot als persönlicher Assistent
Neu ist zudem der Sprachmodus Copilot Voice, so lässt sich der KI-Assistent künftig auch per Spracheingabe und Sprachausgabe steuern. Was Nutzer mitführen sollen, ist also eine Art Gesprächspartner, den Microsoft zudem auf die persönlichen Bedürfnisse der Nutzer zuschneiden möchte. Dafür gibt es weitere Funktionen:
- Copilot Daily: Der Assistent soll jeden Morgen eine Zusammenfassung über aktuelle Nachrichten sowie anstehende Termine geben. Das Tool soll helfen, die alltägliche Informationsflut zu steuern.
- Copilot Discover: Indem der Assistent Informationen aus anderen Microsoft-Diensten nutzt, soll es einfacher sein, Chat-Sitzungen zu starten.
Mit Think Deeper kündigt Microsoft zudem noch eine Funktion an, durch die Copilot in der Lage sein soll, komplexere Aufgaben zu lösen, in dem die Lösungssuche schrittweise erfolgt. Offensichtlich handelt es sich um Microsofts Integration von o1. Diese erscheint zunächst aber auch nur in der Testumgebung Copilot Labs.
Von den neuen KI-Funktionen sollen auch weitere Dienste profitieren. So startet werden derzeit auch die Bing generative search, also Microsofts Suchmaschinen-Variante, die – ähnlich wie Googles AI-Overview – selbst Antworten. Noch ist es aber ein Testbetrieb, die Nutzung ist auf Demoanfragen beschränkt und zunächst auch nur in den USA verfügbar.
Funktionen noch nicht alle verfügbar – und nicht überall
Den überarbeiteten Copilot-Assistenten verteilt Microsoft bereits über die iOS- und Android-App, den Web-Dienst sowie die Windows-Variante. Außerdem lässt sich der KI-Assistent nun in WhatsApp integrieren.
Welche Funktionen wann kommen, hängt von Region und Sprache ab. So ist Copilot Voice zunächst nur auf Englisch in Australien, Kanada, Neuseeland, dem Vereinigten Königreich und den USA verfügbar. Weitere Länder und Sprachen sollen folgen. Copilot Daily erscheint zuerst in den USA und dem Vereinigten Königreich, während Discover erst einmal nicht in der EU und dem Vereinigten Königreich verfügbar ist – hier müssen die Optionen angepasst werden, um der EU-Regulierung.
Für Copilot+ PCs vorbehalten sind KI-Apps wie Recall (Vorschau), Click to Preview (Vorschau), eine verbesserte Windows-Suche, Super Resolution in Photos sowie Generative Ausfüllen und Löschen in Paint. Generell sind die neuen Funktionen im Oktober zunächst über das Windows-Insider-Programm verfügbar, der öffentliche Startschuss soll im November erfolgen.
Verallgemeinern lässt sich das aber nicht. Recall ist im Oktober etwa zunächst nur für Copilot+ PCs mit Snapdragon-CPU im Windows-Insider-Programm verfügbar, Geräte mit Intel- (Lunar Lake) und AMD-CPU (Strix Point) erhalten den Zugang ab November. Wann Recall offiziell erscheint, steht noch nicht fest.