News Lambda Tensorbook: Linux-Laptop von Razer für Deep Learning mit RTX 3080

[DevPandi]

In der Regel geht es Unternehmen, die solche Geräte anschaffen, aber um die entsprechenden ML-Frameworks, den Lambda-Stack und den Support.

Der Lambda-Stack ist freizugänglich und kann von jedem genutzt werden. An den ML-Frameworks ist die Firma nicht beteiligt und kann dafür auch nicht wirklich Support geben.

Bleibt im Endeffekt nur der Support für eben jenen Lambda-Stack und sieht man sich den als ganzes an, ist das - böse ausgedrückt - auch nur eine Sammlung eines "Skriptes", dass entsprechend die ganzen Sachen installiert und einmal vorkonfiguriert. Jeder Systemadministrator in einer Firma, der Linux-Kenntnisse hat, kann sich sowas zusammen bauen.

Und dass diese Firma sich nun mit Razer zusammen tut? Ist jetzt auch nicht gerade so positiv zu bewerten. Die Firma spielt ohnehin schon starkes Buzzword-Bingo und da passt sogar Razer irgendwie rein. Im Endeffekt zeigt Lambda gut: Man braucht keine gute Idee, nur die richtige Idee zur richtigen Zeit. Die Firma unterscheidet von anderen Workstation-Herstellern nicht wirklich etwas, es macht diese Firma auch nichts besonders, bis eben das Marketing und Buzzword-Bingo.

Den möchte sich Lambda Labs natürlich bezahlen lassen. Wie gut dieser ist, kann ich nicht sagen. Habe noch keine Erfahrungen mit Lambda gemacht. Der nicht ganz astreine Ruf des Razer-Supports ist mir auch nicht verborgen geblieben.

Also, wenn ich mir deren Webseite anschaue, dann fällt mir diese Firma sehr negativ auf. Eine Firma, die 2012 gegründet wurde und sich heute noch Start-Up nennt?

Die Firma schwimmt auf der Welle des "Deeplearning" und schafft es mit Marketing alten Wein in neune Schläuche zu verpacken. Es gibt viele Leute die darauf reinfallen, aber im Endeffekt kann man sich auch eine entsprechende Workstation bei HP, Dell und Co konfigurieren und kommt dabei unter umständen sogar günstiger weg, weil weniger Marketing-Fame dabei ist. Hp, Dell und Co sind halt keine hippen Start-Ups mehr.

Aber man muss eines der Firma lassen: Sie haben es geschafft. Ich glaube, ich sollte mir angewöhnen mal die Ideen, die ich für "Mäh" für Geschäfte halte, doch aktiver umzusetzen. Irgendwie ist das immer so. Man denkt, dass eine Idee zu banal ist, und dann machts jemand anderes und hat Erfolg.

 

[CB-Andi]

P/L passt irgendwie nicht - aufgrund genau was glauben die, das Sie davon welche verkaufen werden?

Jeder Deep Learning Entwickler wird es auch schaffen eine vernünftige Distribution zu installieren.

 

[MR2007]

Ist es im professionellem AI Bereich wirklich üblich, auf lokalen Geräten (und dann auch noch mobil) rechnen zu lassen? Für Unternehmen müsste ein zentraler Cluster doch viel sinnvoller sein.

 

[tomgit]

Also, wenn ich mir deren Webseite anschaue, dann fällt mir diese Firma sehr negativ auf. Eine Firma, die 2012 gegründet wurde und sich heute noch Start-Up nennt?

Ist das nicht in den USA typisch? Gefühlt ist doch dort alles ein Start-Up, bis es an die Börse geht. WeWork galt ja auch bis zum IPO als StartUp, obwohl es bis dahin mehrere Milliarden an Investitionen bekam und 9 Jahre auf dem Buckel hatte.

Auch die Käufe bei Star Citizen werden als "Crowd Sourcing" bezeichnet, obwohl die Kickstarter-Kampagne seit Jahren vorüber ist und sie über einen Shop Waren verkaufen.

Die Firma schwimmt auf der Welle des "Deeplearning" und schafft es mit Marketing alten Wein in neune Schläuche zu verpacken. Es gibt viele Leute die darauf reinfallen, aber im Endeffekt kann man sich auch eine entsprechende Workstation bei HP, Dell und Co konfigurieren und kommt dabei unter umständen sogar günstiger weg, weil weniger Marketing-Fame dabei ist. Hp, Dell und Co sind halt keine hippen Start-Ups mehr.

Das Problem ist auch, dass die "traditionellen" Workstations halt auch wirklich danach ausschauen. Abgesehen von Lenovos P1/X1 Extreme Reihe, wo auch erst seit letzter Generation potentere GPUs verbaut werden, ist dort eben Leistung mit entsprechendem Gewicht und dicken Chassis zu bezahlen. Wirklich viele attraktive Workstations finden sich (leider?) nicht, und auf einem Mac läuft dann auch wieder nicht alles. Die Leute wollen halt solche Geräte, Razer wird nicht umsonst den Trend weiterverfolgen. Nur um ein "Windows-MacBook" zu produzieren, wird sicherlich nicht die einzige Motivation sein.

Ich kann es nicht ganz verstehen, aber das ist eben Geschmackssache

Ist es im professionellem AI Bereich wirklich üblich, auf lokalen Geräten (und dann auch noch mobil) rechnen zu lassen? Für Unternehmen müsste ein zentraler Cluster doch viel sinnvoller sein.

Man macht die Prototypen normalerweise auf kleinen Systemen, weil hochskalieren kann man immer. Ich denke, hier wird der primäre Usecase ohnehin in der Vorführung liegen. Nicht nur, dass die Entwickler schöne Geräte vor sich stehen haben, sondern auch die Klienten Leute mit augenscheinlich hochwertigen Geräten vor sich sitzen.

 

[calluna]

Man denkt, dass eine Idee zu banal ist, und dann machts jemand anderes und hat Erfolg.

Manchmal ist es besser 10 dumme Ideen umzusetzen, wenn jede für sich wenig Zeit für die Umsetzung benötigt - als eine gute Idee, für die viel Zeit benötigt wird. ;-) ... Habe mich aber auch nie daran gehalten.

Ist es im professionellem AI Bereich wirklich üblich, auf lokalen Geräten (und dann auch noch mobil) rechnen zu lassen?

Das ist abhängig von der Datenmenge und den verwendeten Verfahren.

"AI" und "DeepLearning" sind schwammige Begriffe... da kann alles drunter fallen vom einfachen Empfehlungssystem über Bilderkennung bis zum Training von "Software-Robotern" für verschiedene Aufgaben.

Dementsprechend kann ein Training auf einem Notebook wie diesem hier Minuten bis Tage, Wochen... dauern.

Es gibt für den professionallen Einsatz entsprechende Server... oder man mietet die Rechenleistung.

 

[Gelöscht 871778]

Die Firma schwimmt auf der Welle des "Deeplearning" und schafft es mit Marketing alten Wein in neune Schläuche zu verpacken.

Die Firma verkauft Computer mit dem Einsatzzweck Deep Learning und bewirbt diese deshalb mit "Deep Learning" - was daran jetzt doof sein soll, musst du mir noch erklären.

Ist jetzt ein Hersteller von Gamingcomputern, der mit "Gaming" wirbt, "alter Wein in neuen Schläuchen", da es ja bereits 1 oder mehr andere Anbieter von Gamingcomputern gibt?

Ergänzung (19. April 2022)

Manchmal ist es besser 10 dumme Ideen umzusetzen, wenn jede für sich wenig Zeit für die Umsetzung benötigt

Dann ist man halt eine von vielen schlechten Firmen, die ihre mittelmäßige Idee mittelmäßig hingerotzt haben, um schnell Geld zu machen. So was braucht nur eben kein Mensch - dann lieber eine mittelmäßige Idee ausgezeichnet umsetzen, weil man mit Herzblut bei der Sache ist.

 

[Guyinkognito]

Gerade zusätzliche Unterstützung durch einen (guten?) SysAdmin kann durchaus hilfreich sein - gerade, wenn man frickeligere Sachen installieren mag, wie etwa OpenCV mit CUDA-Support.

Ich denke mal der Support wird sich nur auf Hardware, OS und vllt noch den Lambda Stack beziehen, da hab ich jetzt kein OpenCV extra aufgeführt gesehen(vielleicht ist es implizit im Lambda Stack dabei und nur nicht extra aufgeführt, weiß ich nicht). Wenn OpenCV nicht im LambdaStack dabei ist bezweifele ich so ein bissl dass sich ein Admin von denen hinsetzt und dir das installiert, das wäre in etwa als ob du da anrufst weil unter Steam dein Skyrim keinen Ton hat Wie gesagt: keine Ahnung aber gefühlt wird das so nicht supported sein, die werden das supporten was out of the box auf den Kisten ist und alles andere ist dann dein Bier....

Ergänzung (19. April 2022)

Dementsprechend kann ein Training auf einem Notebook wie diesem hier Minuten bis Tage, Wochen... dauern.

Es gibt für den professionallen Einsatz entsprechende Server... oder man mietet die Rechenleistung.

Ich denke mal das ist so gedacht dass du das was in realistischer Zeit möglich ist (wie auch immer du die definierst) auf dem Notebook machen kannst und wenns dann haarig wird schwenkst du um auf einen Mietserver mit Lambdastack, so sparst du dir quasi die Miete für die eigentliche Entwicklungszeit. Obs das jetzt wirklich wert ist weiß ich nicht aber ein Notebook brauchst du ja so oder so, von daher lässt sich ja simpel ausrechnen ob du plus machst durch die gesparte Miete....

Ergänzung (19. April 2022)

Ist es im professionellem AI Bereich wirklich üblich, auf lokalen Geräten (und dann auch noch mobil) rechnen zu lassen? Für Unternehmen müsste ein zentraler Cluster doch viel sinnvoller sein.

Kommt (wie immer) auf die Größe und den Einsatzzweck an. Ein Startup wird vielleicht nicht die Kohle haben sich da extra Hardware hinzustellen, oder ML wird nur sporadisch eingesetzt dann lohnt das ja auch nicht so richtig. Wie gesagt ich denke das ist um das ganze drumherum um das Projekt soweit fertig zu kriegen und mit kleineren Datenmengen zu testen und dann schiebst du das irgendwo auf einen gemieteten Server und lässt den über Nacht drauf rumcrunchen...

 

[calluna]

@Guyinkognito

Tensorflow + Cuda unter Ubuntu einzurichten ist aus meiner Sicht einfach... steht alles auf der Google-Seite. (Und auch PyTorch ist nicht schwierig).

Außerdem kann man auch einfach den Docker-Container verwenden, den Google bereitstellt... inklusive GPU-Unterstützung... oder irgendeinen anderen Container.

Man sollte ja nicht vergessen, das die Personen, die mit diesen Frameworks / Bibliotheken arbeiten mindestens gute Kenntnisse in Python haben sollten.

Der Lambda-Stack ist kein großes Ding in der Branche.

 

[Guyinkognito]

Der Lambda-Stack ist freizugänglich und kann von jedem genutzt werden. An den ML-Frameworks ist die Firma nicht beteiligt und kann dafür auch nicht wirklich Support geben.

Ja der Lambda Stack ist frei zugänglich, weil die sich darum kümmern und ihn zur Verfügung stellen. Ohne Lambda Labs kein Lambda Stack und du musst den ganzen Mist von Hand frickeln. Das ist ein bissl so als ob du sagst "Linux-Laptophersteller XXX benutzt ja eh nur Clevo Barebones und die Skripte stehen im Netz, also hol ich mir ein baugleiches Clevo, packe da die Skripte rauf und bin genauso aufgestellt für 500€ weniger". Natürlich geht das, aber im Endeffekt nutzt du ja nur aus dass der Hersteller sich da kümmert und seine Software pflegt, wenn keiner den Hersteller bezahlen würde gäbe es ja die Software gar nicht.

Bleibt im Endeffekt nur der Support für eben jenen Lambda-Stack und sieht man sich den als ganzes an, ist das - böse ausgedrückt - auch nur eine Sammlung eines "Skriptes", dass entsprechend die ganzen Sachen installiert und einmal vorkonfiguriert. Jeder Systemadministrator in einer Firma, der Linux-Kenntnisse hat, kann sich sowas zusammen bauen.

Also zahlst du einem Admin Geld damit er ein eigenes Repo pflegt, Inkonsistenzen bereinigt, auf die Abhängigkeiten und Pakete aufpasst, das in Skripte gießt und das dann in der Firma auf Clients/Servern ausrollt. Oder du nutzt das fertige Produkt von denen, was die sich dann halt bezahlen lassen. Da kommt dann klassisch die Kosten/Nutzen Rechnung ob es billiger ist den Admin zu bezahlen oder die für ihr Produkt. Bei den Servern oder den Cloudgeschichten ist es das selbe: lohnt es für DEIN Unternehmen da einen anzustellen der sich da auskennt bzw eigene Hardware hinzustellen oder mietest du lieber wenn du brauchst usw usf. Das ist alles Kosten/Nutzenrechnung, das kann man nicht pauschalisieren...

Ergänzung (19. April 2022)

@Guyinkognito

Tensorflow + Cuda unter Ubuntu einzurichten ist aus meiner Sicht einfach... steht alles auf der Google-Seite. (Und auch PyTorch ist nicht schwierig).

Außerdem kann man auch einfach den Docker-Container verwenden, den Google bereitstellt... oder irgendeinen anderen.

Man sollte ja nicht vergessen, das die Personen, die mit diesen Frameworks / Bibliotheken mindestens gute Kenntnisse in Python haben sollten.

Du kannst ja gute Kenntnisse in Python haben und hast noch nie Linux gesehen Für dich und (wahrscheinlich) mich ist das jetzt easy peasy, wir kloppen das nach Anleitung drauf und gut. Ob der durchschnittliche ML Entwickler jetzt so einen Background hat dass er den ganzen Kram auf Linux hingefrickelt bekommt weiß ich halt nicht.

Ich sags mal so: die haben das Produkt so auf den Markt gebracht weil es offensichtlich Bedarf gibt, Linux ist Unterbau weil ihr Stack auf Linux läuft. Ob sich das jetzt verkauft wie geschnitten Brot oder liegen bleibt im Regal sieht man dann, sie hätten es aber gar nicht auf den Markt gebracht wenn sie nicht dächten es würde gekauft, von daher gehe ich davon aus dass sie da auch mit mindestens +-0 rausgehen am Ende weil sie wissen wie der Bedarf ist.

Ich weiß, das ist eine sehr dünne Argumentation weil sie darauf beruht dass ich mich drauf verlasse dass die wissen was sie tuen, aber ich denke halt schon dass die mit Razer den Bedarf vorher analysiert haben.

 

[abcddcba]

lokalen Geräten (und dann auch noch mobil) rechnen zu lassen? Für Unternehmen müsste ein zentraler Cluster doch viel sinnvoller sein.

Logischerweise nicht, aber du entwickelst die ML Modelle auch nicht auf einem Cluster, der Prozess wäre ja maximal Overkill und absolut träge. Zudem gibt es professionellen Umfeld mittlerweile auch ML-Ops analog zu DevOps und es wird nach wie vor auch noch viel im Bereich Deployment Pipelines gearbeitet.

Ich persönlich mache alles lokal auf dem Laptop, nur manchmal nutze ich z.B. pyCharm für Remote compilation und execution per SSH, dann auf GPU Cluster.

 

[Alphanerd]

Finde es gut, dass immer mehr Systeme mit Linux ausgeliefert werden. Vielleicht wird Linux als Desktop System endlich mal ein wenig mehr Aufmerksamkeit bekommen.

Dieses Jahr wird DAS Jahr der Linux Desktops!

(true since 1991!)

 

[MR2007]

Logischerweise nicht, aber du entwickelst die ML Modelle auch nicht auf einem Cluster, der Prozess wäre ja maximal Overkill und absolut träge

Also bei uns läuft die gesamte Entwicklung auf einem eigenen Node des HPCs und kann dann direkt live, mit allen zur Verfügung stehenden Daten und Möglichkeiten getestet werden. Diese Möglichkeiten und die Effizienz gäbe es bei uns mit kleinen lokalen Instanzen nicht, und dank Epycs läuft auch der Buildprozess viel schneller Nur geht's bei uns um physikalische Simulationsmodelle, nicht um ML, wo ich keine Ahnung habe, wie hier der Workflow (sinnvoll) läuft. So rein naiv hätte ich vermutet, dass hier dann so eine einzelne 3080 auch nur Spielerei ist. Aber klar, die Preisdimensionen sind natürlich andere.