Neuer Rekord bei künstlichen neuronalen Netzwerken

Ferdinand Thommes
41 Kommentare

Ein Forscherteam der US-amerikanischen Elite-Universität Stanford hat mit Unterstützung des Chip-Herstellers Nvidia das nach eigenen Angaben derzeit weltweit größte, künstliche neuronale Netzwerk geschaffen, das im Modell die Arbeitsweise des menschlichen Gehirns beim Lernen demonstrieren soll.

Google hatte im Jahr 2012 bereits ein solches Netzwerk vorgestellt, nach Angaben von Nvidia ist das jetzt in Stanford entwickelte aber rund 6,5 Mal größer.

Computer-basierte neuronale Netze können „lernen“, wie sich das menschliche Gehirn entwickelt, und dabei Fähigkeiten wie beispielsweise Muster- und Stimmerkennung in gleicher Weise entwickeln wie Menschen.

Das Erstellen von neuronalen Netzen in dieser Größenordnung ist mit großem Aufwand verbunden. So setzte Google für das eigene Projekt rund 1.000 Server mit 16.000 CPU-Kernen ein. Das Netzwerk arbeitete mit 1,7 Milliarden Parametern, die die neuronalen Verbindungen im menschlichen Gehirn abbilden. Lernziel des Projektes war es, durch Maschinelles Lernen und Künstliche Intelligenz (K.I.) dem neuronalen Netz das Erlernen der Fähigkeit, verschiedene Katzen zu erkennen, beizubringen.

Das Stanford-Team, in der Abteilung für Künstliche Intelligenz beheimatet und geleitet von Andrew Ng, der schon Google bei ihrem neuronalen Netz behilflich war, erstellte zunächst ein Netz, das in der Komplexität dem von Google entsprach, verwendete dazu aber nur drei Server, die Nvidia-GPUs nutzen, um die großen Datenmengen zu verarbeiten. Daraufhin wurde das Netz auf 16 derartige Server erweitert, die 11,2 Milliarden Parameter verarbeiten können. Erstaunlich ist hierbei, dass Hardware von der Stange eingesetzt wird. Jeder der 16 Server hat neben zwei Quad-Core-Prozessoren vier Nvidia GeForce GTX 680 verbaut, wobei jede GPU über vier Gigabyte Speicher verfügt.

Maschinelles Lernen ist die Wissenschaft, Computer etwas tun zu lassen, ohne sie explizit dafür zu programmieren. Diese Methode hat in den letzten Jahren selbstfahrende Autos und effektivere Websuche maßgeblich weiterentwickelt sowie viel zum Verständnis des menschlichen Genoms beigetragen. Auch in der Spracherkennung trägt Maschinelles Lernen zur Verbesserung der Methodik bei, beispielsweise im neuronalen Netz der Firma Nuance, das ebenfalls mit GPUs rechnet. Die Möglichkeit, mit GPUs größere Datenmengen in kürzerer Zeit abzuarbeiten, erhöht die Genauigkeit, mit der die neuronalen Netze lernen können.

  41 Kommentare
Themen:
  • Ferdinand Thommes E-Mail
    … ist freier Autor, Stadtführer und Linux-Entwickler und lebt derzeit in Berlin und Charleston, SC.
Quelle: Nvidianews

Ergänzungen aus der Community

  • Anonymous 18.06.2013 16:01
    Ich glaube, irgendwas hier an dem Artikel hat mich gestört. Ein paarmal habe ich es gelesen und stolpere immer wieder über:
    Lernziel des Projektes war es, durch Maschinelles Lernen und Künstliche Intelligenz (K.I.) dem neuronalen Netz das Erlernen der Fähigkeit, verschiedene Katzen zu erkennen, beizubringen.
    Dazu dann der Link in dem steht:
    We then ran experiments that asked, informally: If we think of our neural network as simulating a very small-scale “newborn brain,” and show it YouTube video for a week, what will it learn? Our hypothesis was that it would learn to recognize common objects in those videos. Indeed, to our amusement, one of our artificial neurons learned to respond strongly to pictures of... cats. Remember that this network had never been told what a cat was, nor was it given even a single image labeled as a cat. Instead, it “discovered” what a cat looked like by itself from only unlabeled YouTube stills. That’s what we mean by self-taught learning.
    Das bedeutet, Ziel des Experimentes war es, mithilfe von Youtube die "KI" dazu zu bringen, sich an Dinge zu "erinnern" bzw. das assoziative Denken zu erlernen. Das bedeutet, würde ein solcher Computer z.B. ein Auto sehen, könnte er, weil er unzählige Automodelle gesehen hat "denken": Dies ist ein Auto. Dabei würde wahrscheinlich Form, Räder usw. eine entscheidende Rolle spielen. Das heißt, das Ziel des Experimentes war keineswegs der "KI", also dem Programm beizubringen Katzengesichter zu erkennen. Sondern aufgrund der Daten, die dieses neuronale Netzwerk mit Youtube-Videos verarbeitet hat, hat sich ein Neuron darauf spezialisiert Katzengesichter zu erkennen. Das ist also kein hingearbeitetes Ziel gewesen, sondern Ziel war es einfach, etwas wiederzuerkennen, also zu speichern und demnach zu lernen.

    Demnach stimmt auch die Formulierung:
    Maschinelles Lernen ist die Wissenschaft, Computer etwas tun zu lassen, ohne sie explizit dafür zu programmieren.
    leider nicht. Denn programmiert werden musste der Computer bzw. das Programm schon. Die Programmierung sorgte dann für den Lerneffekt. Auch Menschen funktionieren ja nicht ohne Befehlskette, wir sind nur durch unsere Körpersinne und Gegebenheiten auf Lernen ausgerichtet.

    Diese Methode hat in den letzten Jahren selbstfahrende Autos und effektivere Websuche maßgeblich weiterentwickelt sowie viel zum Verständnis des menschlichen Genoms beigetragen.
    Auch hier muss man bedenken, dass die Programme alle mit Parametern gefüttert wurden. Z.B.: Das dort ist die Straßenlinie, das dort ist die Leitplanke, das dort ist ein anderes Auto usw. usf. Das heißt, die Programme und Computer würden, wenn sie einfach doof in einem Auto hingestellt würden einen Kehrricht tun. Würden in unseren Genen nicht "Programme" abgespeichert sein, würden wir als Babys alle sterben, da unser Körper nicht funktionieren würde. Das heißt, dass die Grundprogrammierung schon vorhanden sein muss.