News Nvidia Jetson Orin Nano Super: Developer Kit für AI und Robotik ist schneller und günstiger

nlr

Redakteur
Teammitglied
Registriert
Sep. 2005
Beiträge
10.383
  • Gefällt mir
Reaktionen: aid0nex, Nekkepenn und Anakin Solo
Den Jetson Developer Kit habe ich für meine Masterarbeit verwendet, ein einfach tolles Gerät. Lediglich die 2GB waren ein kleines Hindernis. Es ist erfreulich, dass sich hier etwas tut.
 
Ja die ganzen tollen und unentbehrlichen Anwendungen die lokal auf dem Ding laufen haben mein Leben total verändert.

Ironie aus und Butter bei die Fische: Was kann das Ding exklusiv gegenüber einem Notebook (mit GPU) und was macht man damit. Gerne auch was zur Masterarbeit schreiben.
 
  • Gefällt mir
Reaktionen: Marflowah
Ich finde das Teil spannend, vorallem fuer den Preis.
Ich bin ein AI Noob, um es mal vorsichtig zu sagen, und stehe der Technik generell sehr skeptisch gegenueber.

Was kann man damit tatsaechlich anfangen? Reicht der Speicher darauf ueberhaupt fuer zB einen Bildgenerator?
 
Botcruscher schrieb:
Was kann das Ding exklusiv gegenüber einem Notebook (mit GPU)
Nichts, aber ein halbwegs leistungsfähiges Notebook mit entsprechender Nvidia-GPU kriegt man auch nicht für den Preis. Das ist wie mehrfach zu lesen eine Entwicklungs- und Lernplattform. Das soll sich überhaupt nicht jeder zuhause hinstellen.
 
Botcruscher schrieb:
Ironie aus und Butter bei die Fische: Was kann das Ding exklusiv gegenüber einem Notebook (mit GPU) und was macht man damit

Das ist überhaupt nichts für Consumer, sondern Entwicklungsplattformen. Wenn man Embedded KI-Beschleuniger benötigt, sind das gute Boards. Autonom fahrende Roboter mit Objekt- und Wegpunkterkennung als Beispiel.


Zum Jetson selbst sei gesagt, dass deren Software-Support in der Vergangenheit sehr enttäuschend war. ARM-typisch lassen sich keine generischen OS installieren, man ist also zu 100% abhängig von Nvidias Wohlwollen. Wir haben hier noch einige Jetson TX2 Boards, bei denen ist allerdings bei Ubuntu 18.04 Schluss. Obwohl die Hardware leitungsfähig genug wäre, laufen durch diese Limitierung diverse KI-Tools nicht mehr.
 
  • Gefällt mir
Reaktionen: uberLemu, konkretor, Piktogramm und eine weitere Person
Nice mit Ollama ...

1734527386153.png



Ergänzung:
Ich gehe davon aus, dass im Video llama3.2:3b Model verwendet wurde. Weil man
1734532382800.png

d.h. das ist default. Wenn man 1B haben wollen würde, müsste man ollama pull llama3.2:1b sehen.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Garack
oicfar schrieb:
Nice mit Ollama ...
Das ist so halt absolut nichtssagend, wenn man sich das Video nicht anschaut. Ollama ist nur ein Framework um LLMs laufen zu lassen, sagt nichts über die Performance per se aus. Ich kann auch hier versuchen ein 70b Modell laufen zu lassen oder noch größer, wo die Hälfte oder mehr im Swap landen muss, weil der Speicher nicht ausreicht.
Und selbst mit Video bleibt die Frage offen, welches LLama3.2 gepullt wird. Ich tippe auf 3b Parameter, kann aber auch das 1b Modell sein.

Ranayna schrieb:
Was kann man damit tatsaechlich anfangen? Reicht der Speicher darauf ueberhaupt fuer zB einen Bildgenerator?
Ja, aber man darf nicht zu viel erwarten. 8GB Speicher beschränkt die Auswahl der Modelle deutlich, wenn man Performance haben möchte. Ist auch ein Problem bei den GPUs, bzw. warum viele eher zu einer 4060Ti greifen statt zu einer 4070 oder 4080 - VRAM ist Trumpf.
Hinzu kommt, dass die Leistung einfach nicht wirklich gut sein wird. Wahrscheinlich wird jede 4060 dem Ding davon laufen, wenn nicht sogar bereits jede Turing GPU (RTX 20X0er).

Botcruscher schrieb:
Was kann das Ding exklusiv gegenüber einem Notebook (mit GPU) und was macht man damit.
Ich schwimme hier mal etwas gegen den Strom und sage, dass die Hardware zwar nicht mehr kann, Nvidia dem Jetson jedoch einige Tools beilegt, die sonst nicht direkt über Nvidia oder nur über die Enterprise Pakete verfügbar sind. Das betrifft auch einige Abhängigkeiten. Einen Überblick kann man sich uA hier schaffen: https://www.jetson-ai-lab.com/
Ob sich das rentiert, muss man glaub selbst ermitteln. Wenn man ein passendes Notebook hat, würde ich eher bei dem bleiben. Und die meisten Tools sind auf irgendeine andere Art und Weise auch für gängige(re) Frameworks implementiert, man muss ggf nur auf GitHub (oder anderen Repos) etwas länger suchen.
 
Ranayna schrieb:
Was kann man damit tatsaechlich anfangen? Reicht der Speicher darauf ueberhaupt fuer zB einen Bildgenerator?
Bildgeneratoren sind eher weniger das was dieses Ding kann. Da fehlt es an Speicher und Rechenleistung. Sprachsynthese und -erkennung würde ich dem Ding aber durchaus in brauchbarer Qualität zugestehen. Was für die Entwicklung von Nutzerinterfaces für Personen mit eingeschränktem Sehvermögen hilfreich wäre. Ebenso sollte das Ding recht potent sein bei Bild-/Objekterkennung bei Einzelaufnahmen als auch Videos. Was das Ganze dann für alle optische Überwachungsanwendungen imnteressant macht. Also sowohl Videoüberwachung, als auch optische Qualitätssicherung und erste Gehversuche mit autonomen Fahrzeugen etc. pp.

Botcruscher schrieb:
Was kann das Ding exklusiv gegenüber einem Notebook (mit GPU) und was macht man damit.
Das Ding ist vor allem zum Entwickeln und Lernen gedacht, die Leistung des kleinen Moduls ist aber durchaus auch schon für produktive Dinge brauchbar.
An sich sind das die kleinen Geschwister jener Systeme, die in KfZ fürs autonome Fahren zuständig sind, oder in Sortieranlagen, oder oder oder.
 
tomgit schrieb:
Das ist so halt absolut nichtssagend, wenn man sich das Video nicht anschaut. Ollama ist nur ein Framework um LLMs laufen
Habe ich oben ergänzt.
tomgit schrieb:
zu lassen, sagt nichts über die Performance per se aus. Ich kann auch hier versuchen ein 70b Modell laufen zu lassen oder noch größer, wo die Hälfte oder mehr im Swap landen muss, weil der Speicher nicht ausreicht.
Wieso muss man gleich in die Extreme gehen.

Es ist genau die Art der Diskussion, wenn man behauptet, dass ein Pi 5 den PC für Desktop ersetzen kann.

Jemand, der schon ein wenig nachdenkt, weiß, wo die Reise hingeht. Und da muss man nicht mit 70B & Co. kommen.

Es spielt für mich auch keine Rolle, ob es 1B oder 3B LLM sein könnte.

Und die Zielgruppe für solche Hardware ist auch überschaubar.
 
oicfar schrieb:
Es ist genau die Art der Diskussion, wenn man behauptet, dass ein Pi 5 den PC für Desktop ersetzen kann.
Nein, absolut nicht. Weil ein RasPi 5 kann den Desktop ersetzen, dieser Jetson wird aber keine praktikable Alternative für Leute darstellen, die LLMs lokal laufen lassen und gute Ergebnisse erzielen wollen.

oicfar schrieb:
Jemand, der schon ein wenig nachdenkt, weiß, wo die Reise hingeht. Und da muss man nicht mit 70B & Co. kommen.

Es spielt für mich auch keine Rolle, ob es 1B oder 3B LLM sein könnte.
Und jemand, der darüber nachdenkt, wird auch vermutlich auf den Entschluss kommen, dass ein 3b Modell bessere Ergebnisse produziert als ein 1b Modell, und das 70b Modell eben noch besser. Und darin liegt auch das Problem bei dem "Vergleich"

oicfar schrieb:
Und die Zielgruppe für solche Hardware ist auch überschaubar.
Ja, die Zielgruppe dafür ist überschaubar, aber über irreführende Vergleiche könnten sich Leute zum Kauf animiert fühlen, die dafür nicht die Zielgruppe sind, weil Vergleiche irreführend produziert wurden und die Ergebnisse nicht dem entsprechen, was eigentlich deren Usecase wäre. Das ist das Problem.
Und dies wird ohnehin angeheizt durch einen gerichteten Bias. Mich würde nicht überraschen, wenn Nvidias Marketing auch darauf abzielt. Weil man eben assoziiert, dass man ein Nvidia-Gerät benötigt, um mit moderner KI etwas anfangen zu können, und somit allemöglichen Personengruppen nach Produkten gieren, welche diesem entsprechend: Nvidia, KI, und irgendwo bezahlbar.
Dass dabei eben Limitationen untern Tisch fallen, wird halt übersehen.

Das hat nichts mit nachdenken oder informieren zu tun. Wenn man nur halbe Informationen geliefert bekommt, kann man sich auch nicht richtig informieren. Und das passiert eben durch solchen halbgaren und entsprechend nichtssagende Vergleiche.
 
  • Gefällt mir
Reaktionen: uberLemu
tomgit schrieb:
Und jemand, der darüber nachdenkt, wird auch vermutlich auf den Entschluss kommen, dass ein 3b Modell bessere Ergebnisse produziert als ein 1b Modell, und das 70b Modell eben noch besser. Und darin liegt auch das Problem bei dem "Vergleich"
Es doch hier nicht um den Vergleich welches Modell bessere Ergebnisse liefert. Es geht doch nur darum, ob man so was auf der Hardware laufen lassen kann und wie flüssig es läuft.

Alles weitere muss dann jeder für sich entscheiden, wenn man so was als "Spielzeug" kaufen sollte. Oder andere, die sich mit der Materie beschäftigen, gehen in die Tiefe.
tomgit schrieb:
Ja, die Zielgruppe dafür ist überschaubar, aber über irreführende Vergleiche könnten sich Leute zum Kauf animiert fühlen,
Sehe ich nicht so.

Auch dieser Artikel hier auf CB wird nicht so viele Kommentare usw. haben.
tomgit schrieb:
die dafür nicht die Zielgruppe sind, weil Vergleiche irreführend produziert wurden und die Ergebnisse nicht dem entsprechen, was eigentlich deren Usecase wäre. Das ist das Problem.
Und dies wird ohnehin angeheizt durch einen gerichteten Bias. Mich würde nicht überraschen, wenn Nvidias Marketing auch darauf abzielt. Weil man eben assoziiert, dass man ein Nvidia-Gerät benötigt, um mit moderner KI etwas anfangen zu
Ich habe mir in 2021 einen Jetson Nano 4GB gekauft. Nicht durch die Nvidia Werbung. Da ich Raspis habe, wollte ich auch einen Jetson Nano haben, um was mit Bilderkennung machen zu können. Viel habe ich damit jedoch nicht gemacht.

Jetson Orin Nano Super finde ich interessant, werde es mir aber (jetzt) nicht holen. Und den Use-Case LLMs lokal laufen zu lassen, habe ich und tue es auch.
tomgit schrieb:
können, und somit allemöglichen Personengruppen nach Produkten gieren, welche diesem entsprechend: Nvidia, KI, und irgendwo bezahlbar.
Dass dabei eben Limitationen untern Tisch fallen, wird halt übersehen.

Das hat nichts mit nachdenken oder informieren zu tun. Wenn man nur halbe Informationen geliefert bekommt, kann man sich auch nicht richtig informieren. Und das passiert eben durch solchen halbgaren und entsprechend nichtssagende Vergleiche.
Für mich dient es als der erste grobe Einblick. Und wenn es dann in den kommenden Tagen/Wochen noch jemand anders darüber berichten sollte, schaue ich das an oder lese nach.
 
oicfar schrieb:
Es doch hier nicht um den Vergleich welches Modell bessere Ergebnisse liefert. Es geht doch nur darum, ob man so was auf der Hardware laufen lassen kann und wie flüssig es läuft.
Was bringt ein Modell, was flüssig läuft, aber miserable Ergebnisse liefert?
 
tomgit schrieb:
Was bringt ein Modell, was flüssig läuft, aber miserable Ergebnisse liefert?
Aus dem Video weiß man, dass dort ein 3b Modell benutzt wurde. Ob die Ergebnisse von einem 3b Modell ausreichend sind oder nicht, muss doch jeder für sich entscheiden oder woanders informieren.

Das erwarte ich doch nicht von diesem einen Video, welches nur zeigen soll, ob so was mit der Hardware möglich ist.

Und die LLMs entwickeln sich auch laufend weiter.
 
Von allen LLM die ich getestet hab, war unter 30b eigentlich kaum etwas zu gebrauchen. 8x7b kann noch ganz gute Ergebnisse liefern - braucht aber auch direkt 24gb RAM. Die hochgelobten 20b Modelle sind meistens nur auf Benchmarks hin trainiert und versagen in der Praxis komplett.

Die Jetson Nano sind also vollkommen ungeeignet für LLM Spielereien und kaum mehr als ein nettes PoC.
 
  • Gefällt mir
Reaktionen: Yogi666
Weil es sich eben ausschließlich um einen neuen TDP-Modus handelt und das Komplettsystem im Ganzen betrachtet nicht verändert wurde, kann das bisherige Jetson Orin Nano Developer Kit mittels Software-Update auf das neue JetPack SDK in Version 6.1 zu einem Jetson Orin Nano Super Developer Kit gemacht werden.
Eine große Überraschung, dass Nvidia tatsächlich diesen OC-Modus allen per Software-Update zur Verfügung stellt.
 
Zurück
Oben