Facebook F8: „Finde Fotos mit Skiern und einem See im Hintergrund“

Facebook will es Anwendern in Zukunft ermöglichen, Fotos und Videos vollständig nach darin enthaltenen Personen, Gegenständen oder Landschaften zu durchsuchen. Eine manuelle Klassifizierung der Inhalte soll dafür nicht mehr notwendig sein, weil Facebook selbst den Inhalt erkennt.

Zu diesem Zweck werden Bilder „auf Ebene der Pixel“ analysiert, wie Joaquin Candela im Rahmen der Keynote zum 2. Tag der Entwicklerkonferenz F8 mitgeteilt hat. Die künstliche Intelligenz des sozialen Netzwerks soll auf dieser Basis in der Lage sein, das Foto zu verstehen und Personen sowie Gegenstände zu erkennen. Candela demonstrierte das an einem Foto seiner Familie beim Skifahren. Vom Algorithmus wurden vier Personen, zwei Bäume, ein See im Hintergrund, der Schnee auf dem Boden sowie Skier erkannt.

Dass sich die Arbeiten noch in einem frühen Stadium befinden, zeigen die Fehler, die das Suchergebnis noch umfasst: Die zwei „Bäume“ sind eigentlich zwei Wälder links und rechts der Piste und die 5. Person, ein Kind das vor seiner Mutter steht, wird nicht erkannt. Die von allen Personen getragenen Skibrillen sind darüber hinaus für die Gesichtserkennung ein Problem.

Für eine Bildersuche auf Drogen und Blinde

Nutzen will Facebook die neuen, vollständig selbst entwickelten Möglichkeiten nicht nur für eine „Bildersuche auf Drogen“, die auch Suchanfragen wie „Finde Fotos mit Skiern im Schnee und einem See im Hintergrund“ in Zukunft möglich machen wird. Auch Blinden oder stark sehbehinderten Nutzern des Netzwerkes soll auf der Basis der Inhalt von Fotos auf Facebook per Sprachausgabe besser vermittelt werden können.

Personen in Videos erkennen

Erkennen will Facebook in Zukunft auch Personen in Videos, so dass auch diese Informationen in die Suche mit aufgenommen werden können, ohne dass es einer manuellen Zuordnung bedarf. Über eine Zeitleiste soll der Auftritt bestimmter Personen direkt abrufbar sein. Automatisch eingeblendete Untertitel sollen auf Smartphones darüber hinaus dafür sorgen, dass in der App ohne Ton abgespielte Videos trotzdem verstanden werden können.

Zur Entwicklung dieser und anderer Funktionen nutzt Facebook einen auf GPUs basierten Supercomputer mit 40 PetaFLOPS Rechenleistung, der die künstliche Intelligenz von Facebook abbildet. Rund 25 Prozent der Entwickler von Facebook sind damit beschäftigt, Experimente auf dem System zu fahren. Gegenüber dem letzten Jahr konnte deren Anzahl um den Faktor 50 erhöht werden.