So liebe CB'ler, hier ein kleiner Bastelbericht zu einem total vernünftigen Build 
Ausgangslage:
Ich beschäftige mich hobbymäßig mit CGI und für diesen Zweck betreibe ich seit langem zwei Rechner als Rendernodes.
Zu Beginn nur für's CPU basierte Rendern mit anfangs zwei TR1950 und aktuell zwei TR2970WX auf X399 Taichi.
In letzter Zeit arbeite ich aber immer mehr auf der GPU mit Redshift und Cycles, dementsprechend bekam jeder Node noch eine anständige GraKa (aktuell Zotac 4090 Amp Airo).
Jetzt kostet mich das ständige updaten der Software, Betriebssystem, plugins etc. immer mehr Zeit,was mich ziemlich nervt.
Zudem das Hauptargument, der doppelten Kosten für zwei komplette Systeme, PLUS Maxon verlangt für jeden Rechner auf dem Redshift läuft, egal ob Workstation oder reiner Rendernode, eine komplette Lizenz...
Das kostet ordentlich Geld für drei Rechner.
Auf der anderen Seite kann man mit einer Lizenz aber bis zu acht Grafikkarten pro Rechner betreiben!!
So kam ich auf die glorreiche Idee, eine komplette Threadripper/Mainboard Kombi in ein neues Fractal Torrent zu bauen, um dann beide RTX4090 in dieses eine Gehäuse zu packen.
Ein neues Netzteil von Corsair (HX1500) musste natürlich auch noch rein.
Den Rest der alten Hardware wird verkauft.
Jetzt muss man dazu sagen, daß beim Rendern ein Leistungsbedarf auf der GPU von ca. 350W kommen, mit den gaming-üblichen >450W würde das vermutlich nicht funktionieren.
Die üppigen Kühlkörper der GPUs, das Torrent und ordentlich speed auf die Lüfter, würden die Temperaturen schon im Rahmen halten, so der Plan.
Umsetzung:
Da das Taichi eine I/O Abdeckung aus Kunststoff besitzt, die bis dato verhindert hat, daß ich die 4090 mit der fetten backplate in den ersten PCIe slot bauen konnte, waren in den Define R6 die Karten im zweiten slot mit 8x Anbindung montiert (x16 Anbindung für's Rendern nicht nötig).
Nachdem im Zuge des Umbaus sowieso das Board ausgebaut werden musste, konnte ich diese Abdeckung endlich entfernen.
Ihr seht schon, es geht recht knapp her. Zu Zeiten von X399 gab es scheinbar noch keine Grafikkarten mit hohen backplates...
Nächstes Thema, wieviel Platz bleibt zwischen Karte 1 und 2 und zwischen der unteren 4090 und den Lüftern im Gehäuseboden.
Antwort...wenig.
Nachdem die Karten gleichmäßig absacken, habe ich zumindest auch gleichbleibenden Abstand über die Länge der Karten.
Ob der Luftstrom genügt, um die obere Karte zu kühlen, die abgesehen vom schmalen Spalt zur Ansaugung auch noch die heiße Abluft der unteren abgekommt, wird die große Frage sein....doch darum kümmert sich der Alex der Zukunft.
Jetzt erstmal ....
Haben die ATX spec. Götter ein Einsehen und passen alle Anschlüsse am unteren Ende des MB (Frontpanel Stecker, HD Audio front, PWM Lüfter Stecker unter die untere Graka?!
Schwitz....das klappt auch!
Langsam glaube ich an ein Gelingen.
Ach und ich habe meinem Noctua auch gleich noch zwei Chromax black Lüfter gegönnt
P.S. Ich liebe ATX 3 Netzteile, nur noch zwei, statt acht Kabel!
Das Taichi hat keine aRGB Anschlüsse, weshalb zusätzlich zum Kabelwahnsinn (erstes mal so ein RGB Lüfter Gedöns gekauft, ich hasse es ;-) ) war also noch ein RGB/aRGB Hub nötig.
Also alle Deckel drauf und ab zum benchen.
Verwendet habe ich Octanebench in der aktuellen Version.
Kleines Problem vorab. ich kann bei diesem board die Gehäuselüfter nur über CPU, Tctrl oder MB Temperatur als Referenz steuern.
Ich habe mich für Tctrl entschieden.
Da die Abwärme der ersten Graka direkt in den CPU Kühler geblasen wird, komme ich bei Vollast der beiden Karten ziemlich schnell von 38°C auf ca. 44°C in der CPU Tctrl. (21,5°C RT)
Anhand dieses delta von 6K steuere ich meine Gehäuselüfter von ca. 25% pwm auf ca. 85%, was ziemlich gut funktioniert. Damit die CPU Lüfter mir keinen Strich durch die Rechnung machen und die CPU in diesem Bereich unnötig kühlen, halte ich die Lüfter des Threadrippers unter 45°C bei 30% pwm.
Somit habe ich also eine relativ steile Lüfterkurve, um die GraKas ordentlich zu lüften.
Die Lüfter von Fractal sind aber ziemlich leise und so ergibt sich nur ein recht komfortables Rauschen.
Beide Zotac laufen auf +150Mhz GPU und +500Mhz VRAM.
Die Temperaturen der unteren Karte sind ein Traum. 63°C GPU und ca. 75°C VRAM.
Die obere Karte läuft auf 75°C GPU und 92°C VRAM.
Das Netzteil zeigt max. 850W Leistung an, vmtl. hätte ich das HX1000 behalten können, aber wer weiß was die Zukunft bringt und die 12Vhpwr war schon allein ein Kaufargument.
Es waren einige Justierungen und Tests nötig, um die richtige Kombination aus Geschwindigkeit der unteren und der vorderen Gehäuselüfter zu erhalten. Anfangs dachte ich der erste untere Lüfter würde bei zu hoher Drehzahl evlt. den Luftstrom der vorderen Lüfter ablenken, und sich negativ auswirken....Hat sich aber nicht bewahrheitet.
Einfach Gas geben und möglichst viel Luft durch die Karten schicken......
Fazit:
Ich bin sehr zufrieden, jetzt habe ich etwas weniger Hardware rumstehen, weniger Kosten, weniger Admin Aufwand und lehrreich war es auch.
Octanebench zeigt 2700 Punkte, was dank der perfekten skalierbarkeit der Renderer, exakt dem Doppelten der 1350 Pkt der single 4090 entspricht. Zum Vergleich, das (RenderServer) Notebook mit einer 3060 mobile kommt übertaktet auf 320 Punkte.
Habe das System übrigens "Renderzombie" genannt.
Viel Spaß beim Lesen.
Kleiner Nachtrag:
wenn ich per Afterburner das Leistungslimit auf 50% reduziere, was bei den Zotacs ca. 230W entspricht, komme ich noch immer auf knapp 2500 Punkte im Octanebench.....Die Karten sollte eigentlich bei reduzierter Leistung betrieben werden, aber dann wäre es ja kein Renderzombie mehr.....
Ausgangslage:
Ich beschäftige mich hobbymäßig mit CGI und für diesen Zweck betreibe ich seit langem zwei Rechner als Rendernodes.
Zu Beginn nur für's CPU basierte Rendern mit anfangs zwei TR1950 und aktuell zwei TR2970WX auf X399 Taichi.
In letzter Zeit arbeite ich aber immer mehr auf der GPU mit Redshift und Cycles, dementsprechend bekam jeder Node noch eine anständige GraKa (aktuell Zotac 4090 Amp Airo).
Jetzt kostet mich das ständige updaten der Software, Betriebssystem, plugins etc. immer mehr Zeit,was mich ziemlich nervt.
Zudem das Hauptargument, der doppelten Kosten für zwei komplette Systeme, PLUS Maxon verlangt für jeden Rechner auf dem Redshift läuft, egal ob Workstation oder reiner Rendernode, eine komplette Lizenz...
Das kostet ordentlich Geld für drei Rechner.
Auf der anderen Seite kann man mit einer Lizenz aber bis zu acht Grafikkarten pro Rechner betreiben!!
So kam ich auf die glorreiche Idee, eine komplette Threadripper/Mainboard Kombi in ein neues Fractal Torrent zu bauen, um dann beide RTX4090 in dieses eine Gehäuse zu packen.
Ein neues Netzteil von Corsair (HX1500) musste natürlich auch noch rein.
Den Rest der alten Hardware wird verkauft.
Jetzt muss man dazu sagen, daß beim Rendern ein Leistungsbedarf auf der GPU von ca. 350W kommen, mit den gaming-üblichen >450W würde das vermutlich nicht funktionieren.
Die üppigen Kühlkörper der GPUs, das Torrent und ordentlich speed auf die Lüfter, würden die Temperaturen schon im Rahmen halten, so der Plan.
Umsetzung:
Da das Taichi eine I/O Abdeckung aus Kunststoff besitzt, die bis dato verhindert hat, daß ich die 4090 mit der fetten backplate in den ersten PCIe slot bauen konnte, waren in den Define R6 die Karten im zweiten slot mit 8x Anbindung montiert (x16 Anbindung für's Rendern nicht nötig).
Nachdem im Zuge des Umbaus sowieso das Board ausgebaut werden musste, konnte ich diese Abdeckung endlich entfernen.
Ihr seht schon, es geht recht knapp her. Zu Zeiten von X399 gab es scheinbar noch keine Grafikkarten mit hohen backplates...
Nächstes Thema, wieviel Platz bleibt zwischen Karte 1 und 2 und zwischen der unteren 4090 und den Lüftern im Gehäuseboden.
Antwort...wenig.
Nachdem die Karten gleichmäßig absacken, habe ich zumindest auch gleichbleibenden Abstand über die Länge der Karten.
Ob der Luftstrom genügt, um die obere Karte zu kühlen, die abgesehen vom schmalen Spalt zur Ansaugung auch noch die heiße Abluft der unteren abgekommt, wird die große Frage sein....doch darum kümmert sich der Alex der Zukunft.
Jetzt erstmal ....
Haben die ATX spec. Götter ein Einsehen und passen alle Anschlüsse am unteren Ende des MB (Frontpanel Stecker, HD Audio front, PWM Lüfter Stecker unter die untere Graka?!
Schwitz....das klappt auch!
Langsam glaube ich an ein Gelingen.
Ach und ich habe meinem Noctua auch gleich noch zwei Chromax black Lüfter gegönnt
P.S. Ich liebe ATX 3 Netzteile, nur noch zwei, statt acht Kabel!
Das Taichi hat keine aRGB Anschlüsse, weshalb zusätzlich zum Kabelwahnsinn (erstes mal so ein RGB Lüfter Gedöns gekauft, ich hasse es ;-) ) war also noch ein RGB/aRGB Hub nötig.
Also alle Deckel drauf und ab zum benchen.
Verwendet habe ich Octanebench in der aktuellen Version.
Kleines Problem vorab. ich kann bei diesem board die Gehäuselüfter nur über CPU, Tctrl oder MB Temperatur als Referenz steuern.
Ich habe mich für Tctrl entschieden.
Da die Abwärme der ersten Graka direkt in den CPU Kühler geblasen wird, komme ich bei Vollast der beiden Karten ziemlich schnell von 38°C auf ca. 44°C in der CPU Tctrl. (21,5°C RT)
Anhand dieses delta von 6K steuere ich meine Gehäuselüfter von ca. 25% pwm auf ca. 85%, was ziemlich gut funktioniert. Damit die CPU Lüfter mir keinen Strich durch die Rechnung machen und die CPU in diesem Bereich unnötig kühlen, halte ich die Lüfter des Threadrippers unter 45°C bei 30% pwm.
Somit habe ich also eine relativ steile Lüfterkurve, um die GraKas ordentlich zu lüften.
Die Lüfter von Fractal sind aber ziemlich leise und so ergibt sich nur ein recht komfortables Rauschen.
Beide Zotac laufen auf +150Mhz GPU und +500Mhz VRAM.
Die Temperaturen der unteren Karte sind ein Traum. 63°C GPU und ca. 75°C VRAM.
Die obere Karte läuft auf 75°C GPU und 92°C VRAM.
Das Netzteil zeigt max. 850W Leistung an, vmtl. hätte ich das HX1000 behalten können, aber wer weiß was die Zukunft bringt und die 12Vhpwr war schon allein ein Kaufargument.
Es waren einige Justierungen und Tests nötig, um die richtige Kombination aus Geschwindigkeit der unteren und der vorderen Gehäuselüfter zu erhalten. Anfangs dachte ich der erste untere Lüfter würde bei zu hoher Drehzahl evlt. den Luftstrom der vorderen Lüfter ablenken, und sich negativ auswirken....Hat sich aber nicht bewahrheitet.
Einfach Gas geben und möglichst viel Luft durch die Karten schicken......
Fazit:
Ich bin sehr zufrieden, jetzt habe ich etwas weniger Hardware rumstehen, weniger Kosten, weniger Admin Aufwand und lehrreich war es auch.
Octanebench zeigt 2700 Punkte, was dank der perfekten skalierbarkeit der Renderer, exakt dem Doppelten der 1350 Pkt der single 4090 entspricht. Zum Vergleich, das (RenderServer) Notebook mit einer 3060 mobile kommt übertaktet auf 320 Punkte
.Habe das System übrigens "Renderzombie" genannt.
Viel Spaß beim Lesen.
Kleiner Nachtrag:
wenn ich per Afterburner das Leistungslimit auf 50% reduziere, was bei den Zotacs ca. 230W entspricht, komme ich noch immer auf knapp 2500 Punkte im Octanebench.....Die Karten sollte eigentlich bei reduzierter Leistung betrieben werden, aber dann wäre es ja kein Renderzombie mehr.....
Zuletzt bearbeitet:
