News Hunter & Herder: Deutscher Supercomputer setzt auch auf AMD Instinct MI300A

[knoxxi]

Und mit einem entsprechend tauglichen SLA beim Provider, kostet das dann wie viel pro Monat?

 

[Bohnenhans]

Hmm mit einer exklusiv für jeden Anschluss reservierten Leitung ohne sharing etc kosten 25Gbit synchron in CH ~ 70 Euro im Monat. Zieht man TV etc ab vielleicht dann ~ 50 older 60 Euro für den Internetteil des Anschlusses.

Datenvolumen + Anschluss etc kann also nicht mehr wirklich teuer sein - die legen da sicher nicht drauf.

Ich kann mir das nicht vorstellen dass das auf Uni Niveau nicht auch ginge.

 

[knoxxi]

Gerade das SLA ist das was massiv ins Geld geht, meiner Erfahrung nach.

 

[Bohnenhans]

Wie gesagt das sind halt die Endkundenpreise für Privatnutzer, an denen man sich denke ich orientieren kann - und ich gehe davon aus dass ein Uni etc mindestens diese Konditionen auch haben kann - eher günstiger.

Die Einsparungen im Strombereich wären doch riesig denke ich - mit dem eingesparten Geld könnte die Uni sicher einen ganzen Haufen Stellen an Forschern zusätzlich in D dann schaffen und bezahlen.

Wäre doch sicher sinnvoll statt viel Geld zusätzlich für Strom auzugeben das dann einfach weg ist ohne Mehrnutzen einfach mehr Forscher und Entwickler einzustellen und zu bezahlen?

 

[foofoobar]

Solche Serverfarmen insbesondere AI/KI Farmen verbraten nunmal massig Strom rund um die Uhr auch wenn er oft superknapp ist in D im Winter - hier aus falschem nationalen Stolz Steuergelder der Bürger ohne Mehrwert zu verbraten wenn es nicht sein muss ist halt die falsche Einstellung.

Warum sollte in Deutschland Strom im Winter knapp sein?

 

[knoxxi]

an denen man sich denke ich orientieren kann

Als einfacher Ansatz, wir zahlen für 99,5% SLA rund 1€ pro Mbit Bandbreite.

 

[Bohnenhans]

99,5% hat der Anbieter in CH auch allerdings weiss jetzt nicht ob auch bei den Consumer Anschlüssen.

 

[foofoobar]

Nun ich gehe mal als aller aller minimalste Übertragung für eine Leitung von dem aus was man in CH als privater Nutzer bekommt 25 Gbit symetrisch.

Mit den 25 Gbit kann man (>=) ~ 250 TByte am Tag übertragen - mit 4 hat man dann pro Tag 1 Petabyte - und das gerechnet mit Privatbenutzeranschlüssen.

Das sollte schon reichen. Im Bereich von Exabytes bewegt sich das sicher nicht.

Das DFN läuft auf gemieteten Dark Fibers, daher kann man den Kram besser in Norddeutschland aufstellen.

https://www.dfn.de/netz/
https://www2.dfn.de/fileadmin/1Dienstleistungen/XWIN/Topologie.pdf

 

[Bohnenhans]

Letztendlich denke ich wäre halt das gesparte Geld in mehr Forscher und Entwickler zu stecken halt sinnvoller als für Strom auszugeben der nicht besser ist sondern einfach nur sehr viel mehr kostet.

Forschung und Entwicklung lebt doch eigentlich nur von Menschen und nicht davon unnötig viel Geld für Betriebsmaterial auszugeben das überhaupt keinen wirklichen Zusatznutzen bringt. Ich denke jeder Uni wären z.B. 3-4 internationale Spitzenforscher in dem Fachbereich bezahlen zu können lieber als doppelt so viel für den Strom zu zahlen? Oder denkt ihr das sei anders?

Und gerade der IT Bereich ist doch am wenigsten ortsgebunden von fast allen Forschungsbereichen - ausgenommen Spezial IT wenn man gigantische Datenmengen in Echtzeit erfassen muss z.B.

Wenn man wählen kann zwischen entweder die "teuerste" Maschine vor Ort oder die "besten" Forscher vor Ort die remote eine Maschine nutzen - was ist wohl die sinnvollere Wahl?

 

[Bohnenhans]

Über Tomshardware / golem gab es einen Link auf den extrem steigenden Strombedarf für so KI Zentren.

https://www.tomshardware.com/news/p...loads-approaches-that-of-small-country-report

Und ei > 1 KW pro Chip Klasse ist am anrollen - ob ein Technolgoie die ~ jährlich 30% mehr Strom braucht als das Jahr davor - wenn man auf gleichem Level bleiben will - wirklich im Land mit den extrem hohen Strompriesen sinnvoll ist?

"Schneider Electric geht daher von einem jährlichen Anstieg des Energiebedarfs von KI-Rechenzentren von 26 bis 36 Prozent aus."

 

[Skysnake]

Die Nutzer der Software sind sicher nicht deckungsgleich mit den HW Pflegern

Nein sind Sie nicht, aber es ist schon sehr sehr praktisch wenn man für gewisse Dinge einfach nur eine Etage runter muss um mit den Leuten aus dem Betrieb zu sprechen. Je nachdem kann man dann auch diskutieren ob es nicht Anpassungen für gewisse Forschubgsaufgaben gibt. Oder exklusiven Zugriff vor/nach Wertungen für gewisse Tests.

Das verlierst du halt wenn es nicht mehr vor Ort ist. Man muss bei solchen Maschinen bedenken, das nicht nur mit Ihnen geforscht wird sondern auch an Ihnen. So große Systeme effizient und stabil zu betreiben im Rahmen von HPC ist nämlich alles andere als Trivial.

Und je nachdem ob und wie Forschung an der Hardware betrieben wird ist es ungünstig wenn diejenigen nicht 'mal kurz' rübergehen können um Hand anzulegen.
Ein Universitätscluster ist kein typischer (Web- oder Anwendungs-)Server.

Jup, hat seine Vorteile u d ist definitiv ein Privileg das man auch nicht so einfach aus der Hand gibt.

Wie gesagt das sind halt die Endkundenpreise für Privatnutzer, an denen man sich denke ich orientieren kann - und ich gehe davon aus dass ein Uni etc mindestens diese Konditionen auch haben kann - eher günstiger

Die 25GBit sind aber nicht stabil da und für 24/7 Auslastung vorgesehen. Schau mal was beim DFN 200G Kosten. Das sind schon ein paar Euro mehr pro Monat.

Im Prinzip würde es aber schon gehen. Den Brain Drain willst du aber nicht. Zudem ist so was auch ein Leuchtturm der Spitzenforscher anzieht.

Die Einsparungen im Strombereich wären doch riesig denke ich - mit dem eingesparten Geld könnte die Uni sicher einen ganzen Haufen Stellen an Forschern zusätzlich in D dann schaffen und bezahlen.

Bedingt. Das Geld bleibt so ja im Land und schafft hier auch gute Stellen. Die Operator von solchen Maschinen sind nicht schlecht bezahlte Spezialisten. Die willst du im Land haben. Da siedelt sich auch einiges an Firmen/Dienstleister drum herum an.

 

[Bohnenhans]

Nö dass eine Uni z.B., 1 oder 2 Mio mehr für Strom ausgeben muss als woanders schafft keinesfalls neue Stellen, das mindert nur das was man für wichtige Sachen - wie Forschergehälter - ausgeben kann um 1 oder 2 Mio.

Eine Uni hat nicht unendlich Geld die hat im Jahr den Betrag X - und je mehr von dem Betrag X für extra teuren Strom draufgeht, der 0 Vorteile für den Fachbereich bringt, desto schlechter ist man aufgestellt um mit Unis anderer Länder bei den Forschergehältern zu konkurrieren.

Und F&E Dienstleister etc siedeln sich sicher nicht dort an wo besonders viel Geld für Strom ausgegeben
wird - sondern die gehen dorthin wo man Spitzenforscher bezahlt und die entsprechende Ergebnisse liefern.

 

[Skysnake]

Die sind schon da. Schau die mal den Großraun Stuttgart an. Da sind allein drei Großkonzerne aus dem Bereich HPC angesiedelt. Wenn du das hart durchziehst, also auch Bereich Wirtschaft, dann sind die Leute auch ganz schnell weg.

Und nochmals. Ja das kostet vielleicht mehr Geld als wo anders, aber es bleibt eben in der eigenen Volkswirtschaft und hält das KnowHow eben hier wie gesagt. Zudem Zahlen die ganz andere Preise für Strom als Normalo.

 

[Bohnenhans]

Ja und die Uni in anderen Ländern zahlen auch sicher weniger Strom als die Haushaltskunden dort.

Die Uni in Deutschland kann entweder Geld für sinnlos teuren Strom ausgeben ODER sie kann eher global konkurrenzfähige Forschergehälter zahlen - beides geht halt nicht.

Wer sich dann anschliessend nur noch "drittklassige" Forscher leisten kann dem bringt es nichts wenn er die Maschine bei sich im Garten hatl, die auch woanders, wo es sehr viel günstiger ist, stehen könnte.

Stromkosten für AI/KI - siehe link - steigen extrem wenn man auf gleichem Level mithalten will. Und wenn man sein Level nicht mal kurz oder mittelfristig halten kann dann bringt es doch gar nichts da reinzugehen.

Wer sich für unnötig extrem teuere Betriebskosten entscheidet statt für möglichst gutes Personal wird halt in der F&E früher oder später scheitern - die teuren Betriebskosten bringen keinen Vorteil - möglichst gutes Personal dagegen schon.

 

[Skysnake]

Bevor ich hier mehr Zeit investiere ein paar grundlegende Fragen.

1. Arbeitest du im wissenschaftlichen Umfeld
2. Hast du schon mal Drittmittel eingeworfen?
3. Hast du schon mal an einem Tier 1 Zentrum gearbeitet? Also ich meine nicht nur sie Ressourcen genutzt sondern tatsächlich dort gearbeitet?

Einfach nur als Background. Die Diskussion wird ansonsten unnötig Kleinteilig...

 

[Bohnenhans]

Jeder der in dem Bereich wirklich SINNVOLL - und nur darum geht es halt am Ende nicht ob man irgendwo Zeit runterreisst, weiss doch wenn man die extrem begrenzten Ressoucen - wie z.B. auch Geld - nicht maximal sinnvoll nutzt sondern ohne Mehrwert zum Fenster rauswirft hat ist man halt nicht lange im vorderen Feld dabei.

Das Nutzen von den besten verfügbaren Ressourcen global zum geringsten möglichen Einsatz ist das was immer bei F&E an oberster Stelle stehen sollte vor allem bei öffentlicher (meist ja eher Grundlagen-)Forschung bei der die Etats meist sowieso extrem eng sind.

Wenn man lediglich Mittelmässigkeit anstrebt und einfach ein wenig irgendwo "mitwursteln" will ja dann kann man sehr begrenzte Ressourcen ohne Mehrwert verschwenden und sagen na dann fehlen die halt bei den wichtigen Dingen ist doch egal was solll's - aber Mittelmässigkeit reicht halt nicht mehr.

Stromkosten in D sind für AI/KI Zentren nunmal ein extremes Problem weil das vermutlich überlinear (also +x% jedes Jahr im Vergleich zum Vorjahr) ansteigt , denn diese Zentren verbrauchen ähnlich wie Miningfamen immer mehr Strom und fressen damit die Etats die für den Fachbereich insgesamt zur Verfügung stehen einfach absehbar auf ohne dass das einen Gegenwert produziert - die Gewichtung von Nodes berechnet mit billigem Strom ist genauso gut wie die mit Strom der 5x so viel kostet es gibt 0! qualitativen Unterschied.

Nur in einer Welt in der (Uni-)forschung über unendlich Geld verfügt wäre es ok wenn man nicht darauf achten muss was sinnlos verschwendet wird und dann woanders dringender fehlt - aber das hat halt mit der Realität rein gar nichts zu tun.

Sobald die AI/KI Forschungsetats in D durch die hohen Stromkosten so sehr aufgezehrt werden, dass man nicht mehr die Mittel hat zeitnah auf die neuen HW Genrationen aufzurüsten lassen sowieso dann "alle" AI/KI irgendwo anders rechnen sobald der Unterschied signifikant ist.

Wie lange wird das dauern 3 oder 5 Jahre? geht man von 30% Steigerung pro Jahr aus....

 

[Skysnake]

Lenke bitte nicht ab mit Whataboutism.

Jeder der in dem Bereich wirklich SINNVOLL - und nur darum geht es halt am Ende nicht ob man irgendwo Zeit runterreisst, weiss doch wenn man die extrem begrenzten Ressoucen - wie z.B. auch Geld - nicht maximal sinnvoll nutzt sondern ohne Mehrwert zum Fenster rauswirft hat ist man halt nicht lange im vorderen Feld dabei.

Was hast DU denn in dem Bereich sinnvolles gemacht? Ich bin gespannt.

Nochmals, ich habe schwere Zweifel daran, das du in dem Bereich tätig bist. Aber überzeuge mich gerne vom Gegenteil.

 

[Bohnenhans]

Und ich habe dagegen ernsthafte Zweifel ob falls Du mit Dieser ach egal wie man Ressourcen einsetzt und wo die dann später fehlen mehr machst als Deine Zeit bis zur Rente abzusitzen und Mittelmässikgkeit anzustreben.

Denn der sinnvolle Einsatz begrenzter Ressourcen ist einfach das A und O bei engen Etat - vor allem in der Forschung.

Frag einfach jemand der aktuell in dem Bereich wissenschaftlicher Forschung tätig ist was der bevorzugen würde - mehr für Strom zu zahlen oder den Strom irgendwo anders günstiger für seine Arbeit zu nutzen und mehr Geld dann für wissenschaftliche Mitarbeiter zu haben.

Und zwar jemand der die Geräte nur als Werkzeug nutzt und nicht die Geräte selbst entwickelt in dem Spezialfall da macht es natürlich Sinn die vor Ort zu haben - aber die Uni entwickelt halt keine AI/KI Prozessoren. Die nutzt nur fertige Systeme.

Für die Arbeit der SW Seite von AI Systemen ist es einfach komplett unerheblich ob die KI Systeme auf dem Campus in 500 Meter Entfernung stehen - oder in 5.000 km Entfernung.

AI basiert zu sehr grossen Teilen einfach auf energieintensivem "Brute Force" - das ist etwas das vor allem China und die USA auf Top-Level AI Zentren bieten können.

 

[Skysnake]

Und ich habe dagegen ernsthafte Zweifel ob falls Du mit Dieser ach egal wie man Ressourcen einsetzt und wo die dann später fehlen mehr machst als Deine Zeit bis zur Rente abzusitzen und Mittelmässikgkeit anzustreben.

Als direktes Mitglied eines Horizon 2020 CoE Mitglieds, einem CoE auf Landesebene und Arbeit im Rahmen/für drei andere CoEs bin ich ganz zufrieden mit dem was ich an Mittelmaß gemacht habe bevor ich mich in die Wirtschaft verkrümelt habe und Top 100 Maschinen auf die Beine gestellt habe. Aber ja, von Prof, OakRidge Anwerbung und mit Preisen überschüttet wie nen guter Freund bin ich noch weit weg. Aber das ist für mich auch ok.

Denn der sinnvolle Einsatz begrenzter Ressourcen ist einfach das A und O bei engen Etat - vor allem in der Forschung.

Du hast also noch keine eigenen Mittel eingeworben oder für die Finanzierung von solchen Instituten was gemacht.

Dir ist daher nicht klar wie viel Politik da drin steckt und du willst es wahrscheinlich auch nicht verstehen. Daher erübrigt sich das für mich.

Frag einfach jemand der aktuell in dem Bereich wissenschaftlicher Forschung tätig ist was der bevorzugen würde - mehr für Strom zu zahlen oder den Strom irgendwo anders günstiger für seine Arbeit zu nutzen und mehr Geld dann für wissenschaftliche Mitarbeiter zu haben.

Danke, bin ich regelmäßig im Austausch und falls dir nicht bekannt. Geld für Ressourcen zu bekommen ist viel einfacher als Geld für Menschen zu bekommen. Man munkelt das Menschen auch teilweise über Material querfinanziert werden. Aber psst. Nicht zu laut erzählen....

Und zwar jemand der die Geräte nur als Werkzeug nutzt

Tjo, das ist halt das Problem. Keine Ahnung wie das Buisness läuft aber meinen einen zu belehren, der seinen Lebensunterhalt damit verdient....

und nicht die Geräte selbst entwickelt in dem Spezialfall da macht es natürlich Sinn die vor Ort zu haben - aber die Uni entwickelt halt keine AI/KI Prozessoren.

Du verstehst es halt auch einfach nicht. Die Dinger SIND schon an sich Forschungsgegenstand und nicht nur das was damit gemacht wird.....

 

[Bohnenhans]

AI ist einfache (Grund)Schulmathe da gibt es nichts mehr an der grundlegende HW zu forschen - das ist nur noch nachrangige "Silizium" Optimierung - Fleissarbeit für Chipdesigner sozusagen.

Alles was in dem Bereich an HW interessant ist doch nur noch Technologie wie NVLink und NVSwitch und Co und - das ist sicher fernab von dem, an dem dt Unis forschen, denn das Wichtige das Virtualisieren der Endysteme findet zunehmend allein durch die Chiphersteller statt, weil das Bestandteil des Chipdesigns ist und keine "Software" oder nachträglich beeinflussbare "Hardware".

Der Nutzer egal ob SW oder HW sieht doch gar nichts mehr, das er am AI Cluster optimieren kann - der sieht von aussen im Idealfall 1 AI Recheneinheit mit einen extrem schnellen virtuellen AI Prozessor mit extrem viel RAM - was soll er da dann konkret optimieren? Das ist vorgegebene HW Abstraktion in der AI CPU selber auf nach aktuellem Stand sehr hohem Level.

Und diese Abstraktionsebene, die man auch auf HW Ebene nur noch sieht, die definiert allein NVidia AMD etc.

Wie man grosse AMD oder NVidia AI Systeme zusammenschraubt? Das findet sicher auf youtube