News Intel Meteor Lake: CPU mit VPU-Einheit für Künstliche Intelligenz im Hands-on

[Volker]

Zur Computex 2023 zeigt Intel erste Notebooks auf Basis der neuen Meteor-Lake-Plattform mit VPU-Einheit für Künstliche Intelligenz. ComputerBase konnte sich vorab auf zwei lauffähigen Notebooks mit Meteor-Lake-CPUs, 16 Kernen und 22 Threads einen Ersteindruck davon verschaffen, welche Möglichkeiten diese Technologie bietet.

Zur News: Intel Meteor Lake: CPU mit VPU-Einheit für Künstliche Intelligenz im Hands-on

 

[LamaMitHut]

Alles schön und gut, aber... Warum wird der GPU-Teil fast schon totgeschwiegen?

 

[Raptor85]

Coole Sache!

Die Spezialisierungen innerhalb der CPU nehmen immer weiter zu und müssen mit den technischen Möglichkeiten und Entwicklungen mithalten.

Das sind freilich nur erste Schritte. Die große Rechenpower wird vermutlich in der Cloud bleiben, aber für lokale "KI-Kleinigkeiten" hat man nun auch lokale, energieeffiziente Lösungen. Gefällt mir.

 

[guggi4]

Sie bringen 16 Kerne mit, die in dem Fall bis 3,1 GHz takten. Wie bereits von Intel bekannt gegen, setzt Meteor Lake im regulären Ausbau auf 6 Performance-Kerne und 8 E-Cores. Doch das macht unterm Strich nur 20 Threads, angezeigt werden aber 22 Threads.

Das macht nicht nur "nur" 20 Threads, sondern auch nur 14 und nicht 16 Kerne

Vermutlich wird die VPU von Windows als zwei weitere „E“-Threads erkannt, nicht aber als richtige Kerne.

Das würde nicht zu der Vermutung passen, irgendwo her müssen ja auch noch die zwei Kerne kommen

 

[madmax2010]

Danke an marketingabteilung. Die meisten Firmen nennen es NPU, Coral/Gogle klammern sich noch an TPU.
Selbst der Windows Taskmanager Sagt NPU. Bis letzttes Jahr hiess das was sie her verkaufen noch Intel NCX..

Mal sehen was da nun wirklich kommt. Es wäre jedenfalls sehr schön, wenn sie etwas verbauen was wenigstens den Coral Edge TPUs / mit den Rockchip TPUs mithalten kann und vielleicht sogar rekurrente Architekturen unterstützt.

Das würde nicht zu der Vermutung passen, irgendwo her müssen ja auch noch die zwei Kerne kommen

yep
Und es ist nicht unbedingt üblich solche beschleuniger getrennt aufzulisten.. Ich sehe ja auch nicht wie viel last auf den $AVX und AES erweiterungen ist

 

[benneq]

Zwar ist AI bisher quasi ausschließlich in der Cloud beheimatet

Wenn man von quasi jedem zweiten Smartphone absieht, seit Apple A11 und Kirin 970 Chip (2017). Nur der x86 Desktop lebt hier seit Jahren hinter'm Mond.

Hier erläuterte Intel in Taipei, dass 25 Prozent Hardware und 75 Prozent Software seien. Später revidierte Intel diese Aussage und vermerkte, dass die Software eher über 90 Prozent ausmache.

Das ist der springende Punkt. Wir haben auf dem Desktop keinerlei breit verfügbaren Abtraktionsschichten oder APIs, um mit NN/AI/KI/etc. zu arbeiten.
Solange Microsoft (ja, ich weiß...) da keine DirectAI Schnittstelle bringt, wird jeder Hardwarehersteller weiterhin sein eigenes Süppchen kochen. Eine systemübergreifende und offene API wäre mir natürlich auch lieber, aber wir wissen ja wie es mit der Verbreitung läuft, wenn nicht zumindest ein großer Player bei sowas mit dabei ist.

 

[latiose88]

ähm welche Programme unterstüzen alles diese FUnktion.Mein Umwandlungs Programm beherscht leider sowas nicht.Ist wohl ein anderer Bereich wo sowas vom Nutzen ist.Ich schneide nur meine VIdeos und wandle diese um.Man kann diese nicht nachschärfen mit dieser Funktion.Außerdem hätte ich Angst das das Video am ende zu stark Verändert wird das man am Ende nix mehr so ist wie es mal war.Also zu stark verfälscht und so.Wobei es bestimmt diese funktion besser kann als ein Deinterlace wo die Halbbilder zu ganzen Vollbilder zu machen.Man muss nur dafür sorgen das er die interlacing richtig erkennt und diese dann koregiert.

 

[xexex]

Nur der x86 Desktop lebt hier seit Jahren hinter'm Mond.

Wenn es dir nur um einen Chip geht, hat Intel den "längst" mit Intel GNA integriert, "AI" ist nun halt griffiger und in Mode.

Der Intel GNA ist der Coprozessor, den einige Intel-CPUs integriert haben und der dazu dient, die Ausführung einiger Inferenzalgorithmen zu beschleunigen. Viele von Ihnen werden jedoch bereits wissen, dass es sich daher um einen neuronalen Prozessor handelt, der in diesem Fall erstmals im Intel Ice Lake eingeführt wurde und dessen Akronym bedeutet Gaußscher neuronaler Beschleuniger ( GNA ) und die Integration in den eigenen Prozessor funktioniert bei sehr geringem Verbrauch.

https://itigic.com/intel-gna-low-power-coprocessor-for-intel-inference/

 

[Philste]

Alles schön und gut, aber... Warum wird der GPU-Teil fast schon totgeschwiegen?

Hier wird ja eigentlich nur über die VPU gesprochen, selbst die 16 Kerne und 22 Threads kommen ja nur aus dem Reporting im Task Manager. Entweder wurde bis jetzt wirklich nur zur VPU was gesagt oder (für mich wahrscheinlicher) es gab das große Briefing mit allem drum und dran, dann aber Häppchenweise über die nächsten Wochen. Das jetzt speziell die GPU totgeschwiegen wird, sehe ich erstmal nicht so. Aus meiner Sicht wird der Marktstart von Meteor Lake nun aber eher früher als später stattfinden, wenn man schon Geräte im Hands-on hat.

 

[madmax2010]

Das ist der springende Punkt. Wir haben auf dem Desktop keinerlei breit verfügbaren Abtraktionsschichten oder APIs, um mit NN/AI/KI/etc. zu arbeiten.

AbEr eS GiBt dOcH CUDA
torvalds.jpg

Eine systemübergreifende und offene API wäre mir natürlich auch lieber, aber wir wissen ja wie es mit der Verbreitung läuft, wenn nicht zumindest ein großer Player bei sowas mit dabei ist.

aber im Ernst: In den letzten 1-2 jahren gab es eine riesen Schwemme an AI beschleunigern. Nicht nur die von dir genannten, sondern auf Seiten aller relevanten ARM hersteller.
Dazu gibt es meist eine toolchain auf github, mit der man bestehende Modelle dafuer kompilieren kann.
Zumeist ist Kompatibilitaet mit Tensorflow gegeben. Entsprechende Modelle laufen ohnehin schon auf vielen Nvidia / AMD karten der letzten 10 Jahre.

ähm welche Programme unterstüzen alles diese FUnktion.Mein Umwandlungs Programm beherscht leider sowas nicht.I

Um diese "VPU" zu nutzen, wird man doch wieder die intel eigenen Proprietären Compiler nutzen dürfen. Das Binary muss halt mit den entsprechenden PPfaden gebaut werden und Intel ist nicht sonderlich flinnk wenn es darum geht, so etwas in clang / gcc /llvm einzubauen

Wenn es dir nur um einen Chip geht, hat Intel den "längst" mit Intel GNA integriert, "AI" ist nun halt griffiger und in Mode.
https://itigic.com/intel-gna-low-power-coprocessor-for-intel-inference/

Fair , was intel AVX 512 nennt nennt AMD auch Deep Learning Accelerator

 

[SVΞN]

Schönes Hand‘s on @Volker, da bekommt man zumindest mal ein Gefühl dafür, wie sich spezialisierte AI-Einheiten so schlagen.

Danke für den Einblick und die Berichterstattung.

Liebe Grüße und einen schönen Pfingstmontag.

Sven

 

[KlaasKersting]

Nachdem Geschichten wie FaceID und Computational Photography seit 2017 mit einer NPU beschleunigt werden, wird es langsam auch im PC Zeit.

Die große, schlagartige Innovation wird man nicht spüren, es werden eher viele kleine, teils unauffällige Schritte werden.

Eine NPU in Meteor Lake und AMD Phoenix ist der erste Schritt, der Support durch MS und die Bereitstellung entsprechender APIs der deutlich wichtigere zweite. Danach kommen dann die ganzen Entwickler, die nach und nach über die nächsten Jahre ihre Apps anpassen werden.

Die Gesichtserkennung wird besser werden, manche Bild-, Video- und Audioeffekte, welche vorher nicht in Echtzeit möglich waren, werden nach entsprechenden Updates wie selbstverständlich in Echtzeit laufen, das Indexing könnte wesentlich mächtiger werden, sodass man z.B. nicht nach IMG_271894 suchen muss, um das schöne Bild mit den Kühen zu finden, sondern einfach nur nach "Kuh".

Manches wird auch nahezu gleich bleiben, aber einfach weniger Energie kosten.

 

[latiose88]

Ok heißt das diese VPU nimmt Chipfläche weg und mit der Zeit wird immer mehr das ganze überhand werden.Und die es dann noch immer nicht nutzen sind dann im Nachteil weil dann noch mehr chipfläche brach liegt.Und wie sieht es dann mit der Leistungssteigerung aus,wird diese dann immer weniger werden weil die Einheiten immer weniger wird.Oder wie wird das ganze dann in Zukunft ablaufen?
Bzw wie wird das dann am Ende enden?

 

[mkl1]

Doch das macht unterm Strich nur 20 Threads, angezeigt werden aber 22 Threads.

Im Soc tile sitzen 2 weitere Crestmont Kerne. Das ergibt 6+8+2 Kerne, also 16 Kerne oder 22 Threads. Also wenig überraschend. 3100 Mhz Basistakt sind sehr gut würde ich mal sagen, ist ja MTL-P für Notebooks. Hier kann man deutlich einen Intel 4 Effekt erkennen.

 

[SVΞN]

Ich bin auch mal gespannt, wie gut (oder breit) der Support der AI-Einheiten von Meteor Lake, Phoenix und kommenden CPUs und APUs in Sachen Software und Betriebssysteme aufgestellt sein wird.

Damit steht und fällt schlussendlich ja alles. Im Smartphone wird schon eine Menge in die Richtung gemacht, wird Zeit dass der PC da nachzieht.

Ein offener Ansatz wäre selbstverständlich begrüßenswert.

 

[benneq]

Wenn es dir nur um einen Chip geht

Mir ging es um "fast ausschließlich in der Cloud", was evtl. auf die prozentuale Rechenleistung zutreffen mag, aber daran wird auch der neue Intel Chip nichts ändern. Also geht es wohl um die globale Verteilung, und da hat dann wohl inzwischen (fast) jeder mit einem halbwegs aktuellen Smartphone, eine NPU in der Hosentasche.
Dazu noch sämtliche Apple Silicon Notebooks und Desktops, viele Smart Watches und natürlich auch Intels Tiger Lake (hier bin ich von einer nicht nennenswerten Verbreitung ausgegangen. Ich kenne zumindest niemanden mit einem Tiger Lake Chip ).

AbEr eS GiBt dOcH CUDA

Ja, genau. Ich finde es ja echt bemerkenswert und respektabel was Nvidia oft so schnell und gut umgesetzt auf die Beine gestellt bekommt. Gerne sollen sie auch für ihre Leistung entlohnt werden. Aber sie tragen halt ungemein zur Fragmentierung bei - bei allem was sie anfassen. Dabei könnte man es doch auch nach 1-2 Jahren als Open Source bereitstellen

Zumeist ist Kompatibilitaet mit Tensorflow gegeben.

Tensorflow ist immer noch viel zu klein, um "der Standard" zu sein. Zumindest nicht groß genug, dass Microsoft, Apple, Nvidia und co. sich nach Tensorflow richten würden. Da muss was in der Größenordnung von OpenGL oder USB her, damit das passiert - oder eben einer der großen Player, wie Microsoft mit DirectX, gibt den Ton an.

 

[xexex]

natürlich auch Intels Tiger Lake (hier bin ich von einer nicht nennenswerten Verbreitung ausgegangen. Ich kenne zumindest niemanden mit einem Tiger Lake Chip ).

Intel GNA ist nicht nur in Tiger Lake implementiert, der steckt auch in jeder Alder Lake/Raptor Lake CPU. Die Behauptung war die Desktop-CPUs wären in dieser Richtung "Steinzeit", das sind sie aber nicht nur die Anwendungsfälle sind noch mau.

GNA wird aktuell wie in der Präsentation zu sehen für den Unschärfefilter in Teams genutzt, dann war es das aber mit sinnvollen Anwendungsszenarien aktuell schon fast.
https://edc.intel.com/content/www/d...003/intel-gmm-and-neural-network-accelerator/

Klar ist in der Zukunft vieles denkbar, aber wird hier auch schon wieder heißer gekocht als es ist.

In a briefing before Computex, Intel showed off other AI examples: stylizing a video in real time as it plays, just like applying a filter in Snapchat; removing unwanted background noise from a call or chat, and accelerating CyberLink PhotoDirector 10’s ability to de-blur photos. Microsoft’s Skype and Teams apps can already pick you out from a video call and blur or even replace the background. AI functionality will make that faster.

 

[Freiheraus]

Ein Vergleich unter Windows Studio Effects mit dem bereits kaufbaren Ryzen 9 7940HS (aka Phoenix) wäre interessant gewesen. Leistungsaufnahme/Auslastung/Entlastung CPU&GPU/subjektive Performance.

 

[deekey777]

Wie jetzt, alle kommenden Meteor Lakes kriegen die VPU und nicht nur die Highend-Modelle? Das geht doch gar nicht.

 

[benneq]

der steckt auch in jeder Alder Lake/Raptor Lake CPU

Interessant! Das wurde dann wohl einfach nicht mehr wirklich beworben Bei Tiger Lake konnte ich mich zumindest noch daran erinnern, dass es was in der Richtung gab.

nur die Anwendungsfälle sind noch mau

Das bezweifle ich. Man muss sich ja nur mal anschauen, wofür Apple die AI Beschleunigung alles einsetzt. Anwendungsfälle gibt es genug, auch auf dem Desktop.
Bringt nur leider nichts, wenn die Software dann nur vernünftig auf Intel CPUs, oder nur mit Nvidia GPUs, o.Ä. läuft. Eine einheitliche API muss her, auch damit man einfache Software Fallbacks für nicht unterstützte Systeme bereitstellen kann, sonst muss man ja wieder mehrere Code Pfade in der Software pflegen.

Klar ist in der Zukunft vieles denkbar, aber wird hier auch schon wieder heißer gekocht als es ist.

Spracherkennung. Handschrifterkennung. Gesichtserkennung für z.B. den Login am Notebook.
Rauschunterdrückung von gesendeten und empfangenem Audio.
Objekt Erkennung in Fotos / Videos, um sie automatisch zu taggen.
Gescannte Dokumente von Artefakten befreien.
Image upscaling, für Fotos oder während man Videos schaut.
Automatische Anpassung von Farbe und Beleuchtung der Webcam.
Verhaltensvorhersage, um z.B. Arbeitsvorgänge zu automatisieren. Oder um fremde Nutzer zu erkennen.

Nichts, was es nicht bereits schon gibt. Aber das wäre dann alles ein vielfaches performanter und effizienter.