"KI-Beschleuniger" - Grundsatzfragen

[ropf]

Neuere Computer, selbst Smartphones, kommen ja fast durch die Bank mit "KI-Beschleunigern" daher - und ich möchte gern verstehen, ob man damit (jenseits von Microsofts Copilot & Co) etwas Sinnvolles anfangen kann.

(Bevorzugt unter Linux - deshalb hab ich das Thema hier erstellt - falls eine andere Forumsecke besser passt, möchte ich einen der Admins bitten, es freundlicherweise zu verschieben).

• Sind NPUs wirklich eigenständige Recheneinheiten, oder werden hier die Recheneinheiten der GPU unter einer neuen API "umgenutzt"?
• Welche Schnittstellen gibt es? Gelten sie systemweit, oder köcheln nVida/AMD/Intel ihr eigenes Süppchen?
• Wie sieht der Support unter Linux aus?
• Welche Software gibt es auf Anwendungsebene, die von einer NPU profitiert?
• ...

Neben der Beantwortung der Fragen wär ich dankbar für einen Link, wo man sich in die Grundlagen des Themas einlesen kann.

 

[Krik]

Null Selbstinitiative.

Du hättest in Google deine Antworten in weniger Zeit gefunden, als diesen Post zu schreiben.

 

[madmax2010]

Sind NPUs wirklich eigenständige Recheneinheiten, oder werden hier die Recheneinheiten der GPU unter einer neuen API "umgenutzt"?

Eher ersteres.
Als cerebras wafer scale engine, die TPUs von Google, oder Tenstorrents Grayscull sind natuerlich komplett eigene Hardware. Diverse ARM SoCs und kommende Produkte von AMD/Intel haben da auch einen eigenen Breich auf dem Chip, aber da ist eine NPU auch nur eines von vielen Produkten

Welche Software gibt es auf Anwendungsebene, die von einer NPU profitiert?

Bilderkennung, Sprachverarbeitung, etc..

hier im repo:
https://github.com/rockchip-linux/rknpu2
und auch hier im thread https://github.com/ggerganov/whisper.cpp/issues/1557
findest du schon ganz gute Hinweise
Schnittstellen gibt es halt immer die, die man gerade braucht.

aber ey. Riesen Feld und Fragen, die eher einen 4 Seiten langen Artikel als einen Forenpost brauchen

 

[xxMuahdibxx]

wenn eine API einfach Kerne umschreiben könnte um sie zu einer NPU zu machen ... wieso entwickelt man dann NPUs ? und auch nicht verwechseln das eine NPU auch ein Netzwerkprozessor sein kann.

https://de.wikipedia.org/wiki/Netzwerkprozessor

Schnittstellen ungleich Standards für Computing ... und natürlich kann jeder seinen eigenen Code schreiben..

Am Ende möchtest irgendwie Informationen auf den Silbertablet hast dich aber noch gar nicht mal grundlegend informiert... fang doch erst einmal damit an und komm dann mit den speziellen Fragen zum Thema.

KI Bilderstellung ... KI Personenerkennung ... KI entrauschung von Musik ( nen gewisser Beatles Song war da mal populär )

 

[madmax2010]

wenn eine API einfach Kerne umschreiben könnte um sie zu einer NPU zu machen ... wieso entwickelt man dann NPUs ?

Weil FPGAs langsamer und teurer als dezidierte Hardware sind

 

[Marius]

Frag eine KI danach!

ChatGPT sagt:
Hallo!
Die NPUs (Neural Processing Units) sind tatsächlich eigenständige Recheneinheiten, die speziell für KI-Aufgaben optimiert sind.
Sie arbeiten unabhängig von den GPUs und CPUs und können speziell für maschinelles Lernen und KI-Berechnungen eingesetzt werden.
Die Schnittstellen für NPUs können je nach Hersteller variieren, und es gibt spezifische APIs, die von den verschiedenen Unternehmen wie Nvidia, AMD und Intel entwickelt wurden.
Der Support für NPUs unter Linux kann je nach Hersteller unterschiedlich sein, aber es gibt zunehmend Treiber und Unterstützung für diese Technologie in der Linux-Community.
Auf Anwendungsebene können Programme, die maschinelles Lernen oder KI-Algorithmen verwenden, von einer NPU profitieren, da sie speziell für diese Art von Berechnungen optimiert sind.
Für weitere Informationen und Grundlagen zu diesem Thema empfehle ich, sich in Fachzeitschriften, Online-Kursen oder auf den offiziellen Websites der Hersteller umzusehen.
Ich hoffe, diese Informationen helfen dir weiter!

 

[xxMuahdibxx]

@madmax2010 sollte ja den TE mal anspornen sich selbst zu informieren.

 

[garfield121]

Die Spur führt dahin: https://de.wikipedia.org/wiki/Tensor_Processing_Unit

Soweit ich das verstehe, ist TPU mathematisch Lineare Algebra, z.B. Matrixmultiplikation.

 

[Ayo34]

Am Ende kann eine TPU einfach sehr effizient und schnell bestimmte Rechenarten durchführen und genau diese werden im KI Bereich eben benutzt.

Eine CPU hingegen muss alles können und wenn man alles irgendwie berechnen können muss, dann ist jede Rechenart eben nicht besonders effizient zu meistern. Man kann sich bei einer TPU ganz viele Zwischenschritte sparen.

Daher übernimmt z.B. eine GPU auch spezielle Arbeiten einer CPU. Und eine TPU ist noch spezieller als eine GPU.

Kurz: Gerade in einem Smartphone wären viele KI-Anwendungen direkt auf dem Smartphone ohne TPU gar nicht möglich. Auf dem Desktop geht vieles auch bereits etwas weniger Effizienz über die GPU.