Microsofts 50-jähriges Jubiläum: Copilot lernt Sehen und landet in der Bing-Suche

Wie erwartet dominiert der Copilot. Beim 50-jährigen Firmenjubiläum kündigt Microsoft eine Reihe von Neuerungen für den KI-Assistenten an. Dazu zählen Feature wie Vision, ein Gedächtnis und Personalisierung sowie den Start einer KI-Suchmaschine.

Bemerkenswert ist Copilot Vision – also die Kamerafunktion für den KI-Assistenten, die Microsoft sowohl mit der Mobil-App als auch mit der neuen Windows-App verteilt. Bei der Smartphone-App kann der Copilot die Kamera nutzen, um die Umgebung zu erfassen und dazu Anfragen zu verantworten. Fotos lassen sich ebenfalls auswerten. Verfügbar ist Vision ab heute in der Copilot-App für iOS und Android.

Bei der Windows-App ist der Copilot in der Lage, die Bildschirminhalte auszuwerten. Möglich ist das in Anwendungen, im Browser oder bei Dokumenten; der Copilot soll zu den Inhalten dann Fragen beantworten und die Nutzer generell im Alltag unterstützen können. Während die native Copilot-App für Windows bereits heute erscheint, ist die Vision-Funktion ab nächster Woche zunächst für Windows Insider verfügbar.

Copilot Action: Der Assistent nutzt Internetdienste

Apps soll der Copilot künftig nicht nur sehen, sondern diese auch bedienen können. Copilot Action nennt Microsoft die Funktion, bei der es sich um eine Agenten-Lösung handelt. Der KI-Assistent ist damit in die Lage versetzt worden, Tickets zu buchen, Tische in Restaurants zu reservieren oder Checklisten abzuarbeiten. Zum Start arbeitet Microsoft mit Diensten wie Booking.com, Expedia, OpenTable und Tripadvisor. Der Dienst soll aber bei den meisten Webseiten in der Lage sein, die Eingabeformulare auszufüllen.

Laut Yusuf Mehdi, Executive Vice President bei Microsoft und unter anderem für den Copilot verantwortlich, ist Copilot Action sofort verfügbar. Wie gut es in der Praxis funktioniert, bleibt abzuwarten. In der Regel basieren die Copilot-Funktionen auf OpenAI-Modellen, in diesem Fall ist es der Operator. Diesen KI-Agenten beschreiben Nutzer derzeit aber eher noch als Demo denn als Assistenten.

Viel State-of-the-Art

Was Microsoft sonst präsentiert, sind State-of-the-Art-Funktionen im Bereich der generativen AI-Chatbots.

• Gedächtnis und Personalisierung: Damit kann sich der Copilot an Vorlieben und Eingaben der Nutzer erinnern.
• Deep Research: Der von ChatGPT bekannte Recherche-Assistent ist nun auch für Copilot verfügbar.
• Podcasts: Der Copilot ist in der Lage, personalisierte Podcasts mit unterschiedlichen Quellen zu erstellen. So etwas macht bereits Googles NotebookLM-Tool.
• Pages: Eine Canva-Oberfläche, mit der sich Arbeiten strukturieren und organisieren lassen.
• Shopping: Unterstützt Nutzer beim Shoppen, indem der Assistent recherchiert, Vergleiche erstellt und Angebote präsentiert.

Shopping-Funktionen finden sich etwa auch bei Google. Der Konzern hat auch Funktionen wie Deep Research im Angebot.

Bing erhält AI-Suche

Integriert wird der Copilot zudem in Bing, nun als vollständige KI-Suchmaschine. Die Suchmaschine präsentiert damit nicht nur Ergebnislisten, sondern generiert Antworten mit Text und Bildern, die zusätzlich noch Quellen und Vorschläge für weitergehende Anfragen hat.

Man folgt also dem Konzept von KI-Suchen wie Perplexity und ChatGPT Search, Google plant eine entsprechende Funktion mit dem AI Mode – dieser befindet sich aber noch im experimentellen Status. Microsoft ist Google nun voraus.