Masamune2 schrieb:
Ist irgendwie etwas Augenwischerei denn die Leseleistung könnte man auch komplett ohne die Karte erreichen, hier ist die PCIe Bandbreite die ein System hat letztendlich der Flaschenhals. Da die Karte selbst ja auch nur ein einem PCIe x16 Slot steckt können die Daten beim lesen da ja nicht durchwandern, sonst wär bei PCIe 4 bei knapp 31GB/s Schluss.
Interessant ist erst die Schreibgeschwindigkeit aber die Zahl ist dann nicht mehr so schön hoch. Da begrenzt eben die Schnittstelle der Karte.
Richtig erkannt, beim Lesen wird der Raidcontroller praktisch nicht gebraucht, da wird keine Parität berechnet, gar nichts. Wenn man 32 Drives im Raid0 verbindet kommt man wohl auf ähnliche Datenraten. Könnte aber auch sein dass sie zusätzlich noch was von dem VRAM der Karte für Caching benutzen und die Zahl so um biszu 32gb/s aufblähen.
andr_gin schrieb:
Sehr gut. Brauche ich nur mehr in Board mit 32 PCIe Schnittstellen
Es sind ja nur x4 lanes pro SSD + x16 für die GPU. Also 128 Lanes und ein Dualsocket Epyc hat biszu 160 mit Spezialboards, 128 default (sogar schon bei 1P). Viele boards haben zwar maximal 6 oder 7x PCIe Gen4x16 Slots, aber dazu noch SFF-TA-1009 oder ähnliche high density Verbinder. Da sind dann bis zu x16 Dualport, also 2x8 Lanes mit bis zu Gen5 auf einem Stecker etwa in SAS Größe.
Außerdem wird seit SAS24G auch häufig multiplexed, also selbst wenn man nur 16gb/s von der CPU hat (x8), hängt man da 2x 12gb/s SAS dran, also 24gb/s, da die CPU verbindung ohnehin selten das Bottleneck darstellt.
Ich meine 128 PCI Gen4 Lanes sind sind theoretisch 256gb/s - hier erreicht man aber nur 110gb/s.
eastcoast_pete schrieb:
Erster Impuls: Haben wollen! Dann: NVIDIA GPU, und was fehlt in der Mitteilung - der Preis - also auch schon ohne die SSDs mit Sicherheit sehr, sehr teuer. Aber als Technologie schon sehr beeindruckend!
Frage: Sind 110 GB/s überhaupt schon durch eine derzeit erhältliche PCIe Verbindung abgreifbar? Selbst PCIe 5.0 x16 kommt doch da schon nicht ganz hin, also müsste das Ding schon PCIe 6 unterstützen, damit die 110 GB/s auch im System ankommen. Gibt's PCIe 6 schon in der freien Wildbahn?
Beim Lesen geht das direkt an die SSD, der GPU-Controller macht fast nichts.
Wenn es um die Leistung geht kriegt man das mit einer schnellen CPU und Raid0 sicher auch hin, wäre vermutlich sogar schneller weil man kein Bottleneck der GPU mit PCIeGen4x16 hat. Kann sein dass DMA viele CPUcycles kostet, aber hardware DMA-Beschleuigung ist auch kein großes Geheimnis und RAM als Cache hat eine CPU auch reichlich. Kostet halt alles nur Energie und CPUleistung.
Problematisch wird es erst einen Raid5 oder 6 über soviele Drives zu machen, weil das Paritäten berechnen da extrem viele CPU cycles kostet. Hardware Raid5-Controller halten schon seit Jahren nicht mehr mit den Geschwindigkeitszuwächsen von PCIe basierten SSDs mit, das ist hoffnungslos veraltet.
21-25gb/s ist schon echt gut für einen Raid5 wenn man bedenkt dass das theoretische Maximum der PCIex16 Gen4 Karte 32gb/s sind.
Von den SSDs her ginge da sicherlich auch mehr.
wern001 schrieb:
Ich weiß gar nicht wie die leute auf die idee kommen 110 GB/sek zur CPU/Ram.
Ich schätze 110 GB/sek zwischen SSD (oder mehreren SSDs) und GPU
Gab es nicht von AMD auch mal so ein Teil wo man 2 SSDs draufpacken konnte?
Als reiner Raid-Kontroller ist eine GPU auch nicht der Hit. Für sowas nimmt man normal ASICs
Das kriegt man schon hin, Epyc hat mit 8ch 205Gb/s Speicherbandbreite.
Naja, Raid Asics werden vielleicht in 90nm oder 65nm hergestellt und haben viel weniger Transistoren und Rechenpower und kaum SRAM. Eine moderne GPU ist dagegen schon fast "general purpose" und bringt außerdem reichlich Speicher mit den man auch als Write Cache benutzen kann.
