PunGNU
Lieutenant
- Registriert
- Jan. 2008
- Beiträge
- 785
Vielen Dank für die Antworten.
Ich habe drei RTX 2080 TI. Sie laufen also unter PCIe 3.0. Oder kann soetwas noch per firmware update nachgeliefert werden?
Vielen Dank! Das ist ein echt guter Tipp.
Bei (standard) single GPU Training reicht auch PCIe 4x. Die Daten müssen einmal auf die GPU kopiert werden, bei 4x macht das ungefähr 2% der Inferenzzeit aus. Es gibt aber auch Tricks mit denen man die Daten schon parallel auf die GPU kopieren kann.
Ich werde aber auch Multi-GPU training machen und dabei mit synchronisierten Batch-norm experimentieren. Dabei findet dann GPU-GPU Kommunikation statt. Daher können PCIe Lanes schon relevant sein. (Wie viel sync BN ich brauche kann ich noch nicht sagen, sonst müsste ich die Experimente nicht machen).
Ned Flanders schrieb:Das siehst du richtig, allerdings muss die Karte natürlich PCIe 4 auch unterstützen, ansonsten läuft sie mit 3.0
Ich habe drei RTX 2080 TI. Sie laufen also unter PCIe 3.0. Oder kann soetwas noch per firmware update nachgeliefert werden?
BFF schrieb:
Vielen Dank! Das ist ein echt guter Tipp.
Baal Netbeck schrieb:Braucht Deep lerning denn überhaupt die Bandbreite?
Oder ist das so wie GPU mining, wo eigentlich auch PCIe 1x reicht?
Bei (standard) single GPU Training reicht auch PCIe 4x. Die Daten müssen einmal auf die GPU kopiert werden, bei 4x macht das ungefähr 2% der Inferenzzeit aus. Es gibt aber auch Tricks mit denen man die Daten schon parallel auf die GPU kopieren kann.
Ich werde aber auch Multi-GPU training machen und dabei mit synchronisierten Batch-norm experimentieren. Dabei findet dann GPU-GPU Kommunikation statt. Daher können PCIe Lanes schon relevant sein. (Wie viel sync BN ich brauche kann ich noch nicht sagen, sonst müsste ich die Experimente nicht machen).
Zuletzt bearbeitet: