News Arrow Lake-S für LGA 1851: Intel Core Ultra 200 kommt mit NPU mit 13 TOPS

[andi_sco]

Ai-Upscaling und Restoration alter Videos

Welche Software nutzt er da?

 

[Icke-ffm]

Du hast das Thema Entwicklungskosten (und dazugehörend ROI) nicht verstanden. Eine solche CPU, die nur dort verbaut wird, ist wirtschaftlich komplett unattraktiv.

Noch,alles geht nur um den IOD und vielleicht 5mm2 zusätzlich für das 256Bit LPDDR5x Interface, die nur auf dieser Platform genutzt werden können, ansonsten kann es eben nur mit 128BitDDR5/LPDDR5x auch auf FP7/8 oder eben AM5 genutzt werden

Ich dachte das wäre unmissverständlich geschrieben: Die CCDs sind NICHT das Problem, das IOD ist es!
Wenn du jetzt deinen E-Kern ins IOD baust, hast du gewonnen? Genau: Ungefährt NICHTS.

Doch Du kannst nur mit dem IOD zb einen TV, Tablet, Media Center oder Auto nutzen wo es eben keine Rechenpower braucht.
.

Den letzten Satz habe ich nicht verstanden. IOD und CCDs den IOD zu tauschen?!

Na es ist ein Leichtes für AMD ein neues energiesparendes IOD aufzulegen und dann einfach 7700xT oder 9700xT bzw AI 790 oder sonst was zu bringen Baukasten Prinzip hat hier die Vorteile

 

[Quantität]

Wenn ich das bisher zum Thema AI/NPUs aufgeschnappte richtig interpretier, dann sind NPU doch nichts weiter als sehr spezialisierte Prozessoren, die bestimmte Aufgaben im Vergleich zu herkömmlichen CPUs überdurchschnittlich gut und effizient erledigen können.

Dedizierte KI-Beschleuniger-Karten gibt es ja schon seit einiger Zeit, nur eben arschteuer und vollkommen überdimensioniert für krasse Gamer oder brausende Großmütter.

Doch werden die dedizierten Karten von Nvidia (H100/GH200) und AMD (Instinct MI300) doch nicht als NPUs vermarktet sondern als GPUs, sprich sie sind eben doch noch eher mehr Allround-Prozessoren?

Wenn mit dem Term "NPU" nun eine neue Produktkategorie für Alltagskonsumenten eingeführt wird, könnte ich mir vorstellen das daraus marktüblich eine ganzer Haufen an neuen Produkten auf uns zukommt. integrierten Lösungen wie die jetzt von Intel, oder AMDs Strix Point, bis hin zu bezahlbaren dedizierten NPU-Karten.

Wenn persönliche KI-Assistenten irgendwann mehr können sollen als vom Wetter zu erzählen oder Termine in Kalender einzutragen wäre das vielleicht ein wichtiges Argument warum solche dedizierten Lösungen haben will.

Aber vielleicht liege ich auch komplett daneben, ich versuche nur das Thema besser zu verstehen.

 

[Ayo34]

Bin wirklich gespannt wie das dann alles in der Praxis aussehen wird. Gefühlt haben wir so viele Kombinationen und ich glaube man braucht entweder Power X, eine gute GPU oder kann sich eine kleine NPU gleich komplett sparen. Aber mal schauen was dann eine kleine NPU übernehmen wird.

 

[stefan92x]

sind NPU doch nichts weiter als sehr spezialisierte Prozessoren, die bestimmte Aufgaben im Vergleich zu herkömmlichen CPUs überdurchschnittlich gut und effizient erledigen können.

Ganz genau so ist es.

Doch werden die dedizierten Karten von Nvidia (H100/GH200) und AMD (Instinct MI300) doch nicht als NPUs vermarktet sondern als GPUs, sprich sie sind eben doch noch eher mehr Allround-Prozessoren?

Sind sie tatsächlich, weil sie viel mehr Datenformate unterstützen. Es gibt im KI/Machine Learning-Kontext halt zwei sehr verschiedene Dinge: Training und Inferencing. Dafür braucht man unterschiedliche Datenformate, und Training (also das Erstellen von Modellen) hat deutlich höhere Anforderungen. Diese großen GPUs können grundsätzlich beides, NPUs können normalerweise nur Inferencing (also das Nutzen von Modellen) ausführen.

 

[Ayo34]

Wenn ich das bisher zum Thema AI/NPUs aufgeschnappte richtig interpretier, dann sind NPU doch nichts weiter als sehr spezialisierte Prozessoren, die bestimmte Aufgaben im Vergleich zu herkömmlichen CPUs überdurchschnittlich gut und effizient erledigen können.

Komplett richtig. Eine Spezialkarte, die manche Aufgaben besonders effizient/schnell erledigen kann, dafür viele Aufgaben einer CPU oder GPU aber auch überhaupt nicht ausführen kann. Die Frage wird sein wie dann die Software zwischen den verschiedenen Möglichkeiten wählt.

Power Kerne, Effizienzkerne, 3D Cache, GPU, integrierte GPU, NPU, CPU, muss ja irgendwie alles verteilt werden und dann haben alle diese Bestandteile auch noch unterschiedliche Performancepunkte. Eine kleine NPU kann ja schlechter sein als eine schnelle Desktop CPU oder gar GPU. Vielleicht ist eine größere NPU aber hingegen deutlich schneller als die CPU... wir werden es sehen.

 

[BAR86]

Es hieß zu MTL damals schon, dass einige Tiles für Arrow recycled werden.

Würde gut dazu passen, MTL hat 11 TOPS NPU, takten wir das im Desktop bisschen höher und das kommt hin.

Ist natürlich fragwürdig, wenn man gleichzeitig in jeder Keynote AI, AI, AI, AI spammed, die verbaute NPU dann jedoch effektiv nur für Webcam-Spielkram unterstützt wird und schon zu Release praktisch EOL ist, aber da die Konkurrenz gar keine NPU im Desktop hat, muss Intel sich nicht die größten Sorgen machen.

Bei neuen Technologien kauft man sowieso nie die erste Generation. Frühestens die 3.
Also schauen wir was nach Arrowlake, Arrowlake -Refresh (wohl nur mehr Takt...) und Novalake so kommt,dann ist es wahrscheinlich praxistauglich (was auch immer der Praxisnutzen sein kann/wird)

@ News: interessant ist für mich aus der Tabelle eher: 3x so viel GPU Tops? 2x so viel CPU TOPS?

 

[Nagilum99]

[snip]
Na es ist ein Leichtes für AMD ein neues energiesparendes IOD aufzulegen und dann einfach 7700xT oder 9700xT bzw AI 790 oder sonst was zu bringen Baukasten Prinzip hat hier die Vorteile

Ich wiederhole mich und bin damit raus: Du hast NICHTS verstanden. Diese Entwicklung kostet dutzende Millionen €, benötigt eigene Belichtungsmasken, bricht aus der regulären Produktionskette aus... du hast nicht den Dunst einer Ahnung was "ein leichtes" für Auswirkungen hat.
Es gibt Artikel dazu. Ich meine das Computerbase auch mal was hatte, ansonsten hatte Heise einen guten Artikel dazu, der auch mit wenig know-how gut zu lesen war.

Im übrigen ist ein IOD mit 1 Kern für Tablet etc. totaler Schwachsinn. 95 % des IOD wären in einem Tablet nutzlos und wirtschaftlich wäre das der Supergau.

Edit: Ich finde den Artikel nicht, vielleicht hat ihn jemand anderes parat.

 

[Innocience]

Wenn ich NNs will, kauf ich Nvidia und nicht dieses billige Verkaufsargument für den angeblichen Nutzen vom Stalkerfeature in Win11.

Gibt's schon Neuigkeiten zur Produktsegmentierung (weiterhin das Equivalent von 4P i3s? Oder mal 8e wahlweise 2P+4e für i3s?)? Dem Preis? Dem Veröffentlichungsdatum? Der Leistung der CPU?
Das würde mich interessieren.

 

[Quantität]

Power Kerne, Effizienzkerne, 3D Cache, GPU, integrierte GPU, NPU, CPU, muss ja irgendwie alles verteilt werden und dann haben alle diese Bestandteile auch noch unterschiedliche Performancepunkte. Eine kleine NPU kann ja schlechter sein als eine schnelle Desktop CPU oder gar GPU. Vielleicht ist eine größere NPU aber hingegen deutlich schneller als die CPU... wir werden es sehen.

Kommt hier nicht das Thema "Scheduling" der Betriebssysteme ins Spiel? Also nicht ausschließlich, aber verschiedene Hardwarekomponenten und OS müssen ja harmonieren, sonst hats doch wahrscheinlich Performance-Verluste wie es AMD mit den einseitigen 3D Cache CPUs hat oder?

 

[Icke-ffm]

Ich wiederhole mich und bin damit raus: Du hast NICHTS verstanden. Diese Entwicklung kostet dutzende Millionen €, benötigt eigene Belichtungsmasken, bricht aus der regulären Produktionskette aus... du hast nicht den Dunst einer Ahnung was "ein leichtes" für Auswirkungen hat.

Das gebe ich gerne zurück Du hast null Plan von Wirtschaft ! Die Firma entwickelt einen neuen Cip Kostet 1Mrd. Steckt zusätzlich 1.ooo.ooo für ein breiteres SI rein und hat 1USD mehr Herstellungskosten, bekommt aber 50USD mehr Marge für diesen wenn er genutzt wird !

Und der IOD hat alles was es braucht und selbst wenn 50% deaktiviert werden ist es immer noch billiger wie dafür extra was zu entwickeln. Aber danke ist mir auch zu doof

 

[BAR86]

Wer eine NPU im Desktop tatsächlich benötigt bekommt sie ja bereits heute mit Ryzen 8000 APUs (16Tops) und sicherlich in Zukunft mit einem Ryzen AI 300 Desktop Ableger.

müsste eigentlich auch die GPU ausreichen, aber natürlich will intel und AMD das alles schon in ihrem SoC anbieten, damit die Büro-PCs damit ausgestattet werden können

 

[coxon]

Welche Software nutzt er da?

Derzeit mit Topaz.

@andi_sco hast du etwas besseres parat?

 

[RogueSix]

Sehr schön. Dann können Intel die AI-Funktionen der NPU ja direkt mal nutzen, um die degradation der Arrow Lakes per Live-Telemetrie zu erfassen . Wäre schön, wenn Intel dann auch ein Tool bereitstellen würden, an dem man ablesen kann, ab wann mit Instabilität in Spielen und wann mit dem Ableben der CPU zu rechnen ist.

 

[andi_sco]

besseres

Nein, war nur neugierig

 

[Nagilum99]

Das gebe ich gerne zurück Du hast null Plan von Wirtschaft ! Die Firma entwickelt einen neuen Cip Kostet 1Mrd. Steckt zusätzlich 1.ooo.ooo für ein breiteres SI rein und hat 1USD mehr Herstellungskosten, bekommt aber 50USD mehr Marge für diesen wenn er genutzt wird !

Und der IOD hat alles was es braucht und selbst wenn 50% deaktiviert werden ist es immer noch billiger wie dafür extra was zu entwickeln. Aber danke ist mir auch zu doof

Milchmädchenrechnung: Die Kosten sind simplifiziert, missachtet den größeren Platzbedarf, Produktionskapazitäten, weitere Aufwände und letztendlich: Deine imaginäre Kundengruppe.
So einen riesen Chip für 1 Kern in Tablets zu verbauen ist kompletter Unsinn, vom Kern des Gedankens an.
(Genau wie du wiederholt nicht verstehst, dass das IOD der Stromfresser ist und die CCDs nicht das Problem sind, was heißt, dass der Kern im IOD zur Abschaltung der CCDs Blödsinn ist)
plonk

 

[Marius]

Mal eine Frage... soll damit nicht nur die AI-Rechenleistung/Stromverbrauch vom Server auf den Endkunden verschoben werden, damit dessen Stromrrechung höher ist?
Einen anderen Grund kann das ja kaum haben.

 

[Stoerdienst]

Ich dachte das wäre unmissverständlich geschrieben: Die CCDs sind NICHT das Problem, das IOD ist es!
Wenn du jetzt deinen E-Kern ins IOD baust, hast du gewonnen? Genau: Ungefährt NICHTS.
Die Konnektivität ist das, was so viel "säuft", nicht die Zen-Kerne.

Ja und genau an der Stelle könnte man unter Umständen ansetzen, wenn es innerhalb der IOD einen oder ein paar Stromsparkerne geben würde.
Man könnte die ganze Kommunikation zu den CCDs (Infinifabric) und die CCDs selbst abschalten.
Eventuell noch in Verbindung mit einem Stromsparprofil für den RAM.

Wenn man sieht, wie der Stromverbrauch mit steigendem Infinifabric steigt, dann könnte es funktionieren, wenn dieser in einen Ruhemodus geht und der IOD übernimmt.
Da liegen teils ein paar Watt Verbrauch zwischen langsamen und schnellen Infinifabric.

Problem an der Stelle ist aber auch, dass das System schnell genug zwischen IOD und Full Betrieb umschalten müsste, um die 'Fluffizität' (Reaktionszeiten/Reaktionsfähigkeit) des ganzen Systems nicht zu beeinträchtigen.

 

[bensen]

So einen riesen Chip für 1 Kern in Tablets zu verbauen ist kompletter Unsinn, vom Kern des Gedankens an.

Was hast du die ganze Zeit mit Tablets? Verstehe ich nicht.

(Genau wie du wiederholt nicht verstehst, dass das IOD der Stromfresser ist und die CCDs nicht das Problem sind, was heißt, dass der Kern im IOD zur Abschaltung der CCDs Blödsinn ist)
plonk

Der IO-Die oder der IO-Die - CCD Interconnect?

 

[Nagilum99]

Ja und genau an der Stelle könnte man unter Umständen ansetzen, wenn es innerhalb der IOD einen oder ein paar Stromsparkerne geben würde.
Man könnte die ganze Kommunikation zu den CCDs (Infinifabric) und die CCDs selbst abschalten.
Eventuell noch in Verbindung mit einem Stromsparprofil für den RAM.

Wenn man sieht, wie der Stromverbrauch mit steigendem Infinifabric steigt, dann könnte es funktionieren, wenn dieser in einen Ruhemodus geht und der IOD übernimmt.
Da liegen teils ein paar Watt Verbrauch zwischen langsamen und schnellen Infinifabric.

Problem an der Stelle ist aber auch, dass das System schnell genug zwischen IOD und Full Betrieb umschalten müsste, um die 'Fluffizität' (Reaktionszeiten/Reaktionsfähigkeit) des ganzen Systems nicht zu beeinträchtigen.

1. Würde "ein" Kern da nicht reichen
2. Müsste man nur den IB zusammen mit dem CCD schlafen legen oder ihn lastabhängig laufen lassen
3. Sind "ein paar Watt" im Desktop kaum von Relevanz

Die CPUs durchlaufen beim Boot idR. ein sog. Training, ich weiß nicht wie sich solche dynamischen Anpassungen auf die Zuverlässigkeit der Verbindungen auswirken.
In der Theorie sollte es aber kein Problem sein RAM und IF runterzutakten oder zwischendurch "einfach" zu pausieren - ähnlich wie man das mit CPU-Kernen etc. macht.

Da aber das IOD das eigentliche Problem ist, müsstest du eher hier ansetzen, das CCD ist der falsche Punkt.
Aus Energiespargründen wird bei manchem CPU-Design lediglich PCIe 3 oder 4 implementiert. Was das IOD belastet, belastet auch monolithische CPUs.