News Kein Ökosystem: Qualcomms AI-Beschleuniger scheitert an der Software

[Volker]

Der Qualcomm Cloud AI 100 ist ein leistungsstarker und effizienter AI-Beschleuniger, der in spezifischen Bereichen Rekorde bricht. Dennoch hat die Karte bislang keinen Erfolg, denn das Ökosystem, allen voran die Software, soll deutliche Mängel aufweisen, sodass Großkunde Meta nach starkem Interesse wieder abgesprungen sei.

Zur News: Kein Ökosystem: Qualcomms AI-Beschleuniger scheitert an der Software

 

[t3chn0]

Das ist richtig übel. Solche Deals werden über Monate/Jahre evaluiert.

Wenn es quasi ein fast done Deal ist, es in letzter Instanz an der Software scheitert, ist das extrem bitter.

Da werden Köpfe rollen. Ich will nicht wissen wie viel Druck da jetzt im DEV Team liegt, puh.

Heutzutage ist es ja fast eh immer die Software. Hardware Designs sind ja grundsolide.

 

[Tawheed]

Hört sich an wie: Verkaufe Auto mit 500 PS bei 3L Verbrauch. Hat nur ab und zu macken wie Motor geht aus und bremse ist defekt.

 

[memory_stick]

Erinnert an ihre ambitionierten homegrown ARM Serverprozessoren vor ein paar Jahren (Codename Falcon wenn ich mich richtig erinnere ). Sieht mittlerweile eichfach danach aus, als ob Qualcomm anderes als Monopolsitutation im Mobile Communication Bereich nicht auf die Reihe kriegt.

 

[SubNatural]

Immer schade, wenn gute Hardware durch schlechte Software limitiert wird.
Die Gründe sind hierbei halt mannigfaltig: Wurden zu wenig Ressourcen für die Softwareentwicklung eingeplant oder ist die Hardware eventuell nur kompliziert softwaretechnisch anzubinden?

 

[hallo7]

Meist ist es eine Kombination aus fehlender Priorität auf Software für den Kunden - am Anfang will man hauptsächlich zeigen wie viel besser die HW ist und dafür brauchts keinen SW Komfort - und low level Hardware Anbindung.

Für ein ordentliches Software Framework muss man sehr früh Ressourcen reinstecken, eigentlich bevor man weiß ob die Hardware wirklich besser wird. Nur so gibt es dann Entwickler die die Brücke von Hardware zu einem einfach nutzbaren Software Interface bilden können.
Denn die Hardware Designer ziehen weiter bzw. haben wenig Ahnung von Anwender Software und die die Ahnung von Software haben, haben keine von Hardware bzw. auch keine Zeit das dann schnell zu lernen.

 

[DrFreaK666]

Wie heißt es? Software sells Hardware!

 

[dr. lele]

Das ganze Ökosystem muss leider passen. Die Devs sind teuer genug und sollen sich mit den eigentlich Aufgaben beschäftigen und nicht Alphatester sein. Das ist auch einer der Gründe wieso AMD in der BI/Data Science Community fast nicht vertreten ist. CUDA ist hier allgegenwärtig.

Soweit ich weiß, wird ROCm auf Navi immernoch nur teilweise unterstützt. Sowas geht halt einfach nicht.

 

[Volker]

Ja AMD und ROCm ist auch eine ganze eigene Geschichte. Da fluchen auch so viele Entwickler immer und überall. Software hatte bei AMD halt auch noch nie Fokus, wenngleich es besser geworden ist, ist der Berg an Arbeit immer noch riesig.

 

[estros]

Erinnert mich an Samsung. Hardware hui - Software pfui. Wobei QC ein amerikanisches Unternehmen ist und dort mit Sicherheit die Software entwickelt wird, insofern überrascht es. Vielleicht sollten sie ganz offen zu potenziellen Kunden sein und eine (bezahlte) co-Entwicklung Meta u.A. anbieten, sodass es doch ein Erfolg wird…

 

[Wattwanderer]

Um welche Operationen geht es denn bei KI bzw. ML?

 

[Bright0001]

Erinnert mich an Samsung. Hardware hui - Software pfui.

Bidde was? Seit wann ist Samsung Hardware pfui? Und seit wann ist Qualcomm-Hardware pfui?
Der Artikel beschreibt doch das genaue Gegenteil.

 

[Viper816]

... Sieht mittlerweile eichfach danach aus, als ob Qualcomm anderes als Monopolsitutation im Mobile Communication Bereich nicht auf die Reihe kriegt...

Sorry aber es gibt da kein Monopol!

 

[dr. lele]

Um welche Operationen geht es denn bei KI bzw. ML?

Hauptsächlich sparse Matrixmultiplikationen.

 

[Malmi]

Ja AMD und ROCm ist auch eine ganze eigene Geschichte. Da fluchen auch so viele Entwickler immer und überall. Software hatte bei AMD halt auch noch nie Fokus, wenngleich es besser geworden ist, ist der Berg an Arbeit immer noch riesig.

Mal abgesehen von sonstigen softwareseitigen Problemen bei AMD(da sieht man dann halt auch den Ressourcenunterschied), hat CUDA (wie @dr. lele schon sagt) eine derartige Dominanz, dass sich AMD(und viele andere neben Qualcomm) dabei sehr schwer tut.

Mir eigentlich relativ unverständlich, warum es da kein Konsortium gibt um eine unabhängige Lösung mit Nachdruck zu standardisieren*. Eigentlich müsste das im Interesse aller Marktteilnehmer abseits von Nvidia liegen. Aber da sieht man vielleicht auch schon deren großen Einfluss.

*OpenCL ist ja durch konzeptionelle Schwächen letztlich in der Industrie relativ abgeschrieben

 

[Wattwanderer]

Hauptsächlich sparse Matrixmultiplikationen.

Das kommt doch überraschend.

Ich erinnere mich noch wie man Magie in Fortran goss, um das letzte Quäntchen an Optimierung zu finden für Matrizenmultiplikation und das soll jetzt der heisse Sch*ss sein?

Ich dachte mit Intels Math Lib wäre das Thema durch weil schon ausentwickelt und nun kommt Opa noch einmal daher, diesmal als Hipster verkleidet?

 

[hallo7]

Große Matrizenmultiplikationen sind seit über 10 Jahren der heiße Scheiß und das Steckenpferd von CUDA

Hardware die das besser macht ist begehrt. Google hat dafür die TPUs entwickelt. Die meisten dieser Matrizen sind sparse, also die meisten Einträge 0. Eine GPU interessiert das aber in der Regel nicht und es ist schneller die 0 auch mitzumultiplizieren.
HW die das besser macht, kann schneller sein und Energie sparen. Das wünschen sich viele.

 

[dr. lele]

Ich dachte mit Intels Math Lib wäre das Thema durch weil schon ausentwickelt und nun kommt Opa noch einmal daher, diesmal als Hipster verkleidet?

Ich behaupte jetzt einfach mal, dass sich die Größenordnung geändert hat. Und zwar massiv.

 

[nille02]

Eigentlich müsste das im Interesse aller Marktteilnehmer abseits von Nvidia liegen. Aber da sieht man vielleicht auch schon deren großen Einfluss.

Nvidia ist nicht teuer genug oder zu eingeschränkt dafür das man sich zusammen tut um eine wirkliche Alternative zu schaffen.
Und versuche gab es ja auch, OpenCL, aber man hat hier die Software vernachlässigt und es gab zu viele Einschränkungen die mit CUDA einfach funktioniert haben.

 

[Corpus Delicti]

Wie heißt es? Software sells Hardware!

Wie bei betamax und Video 2000 gegenüber VHS.

Da soll allerdings die adult-film-Industrie eine Rolle (pro VHS) gespielt haben. (vllt. urban legend?)