Hannibal Smith schrieb:
Ich dachte Google sei Nvidia haushoch Überlegen
Das ist auch so, aber Google's TPUs sind (1) Google-intern, d.h. andere Unternehmen, Presse, Wissenschaft, ... interessiert das nicht so stark, da sie ohnehin keinen Zugriff auf die Hardware haben und (2) soweit ich weiß nur deshalb so effizient, weil sie konkret auf Google's Libraries ausgelegt sind. Auf einer Tesla kann man für pre-/post-processing etwa bei Computer Vision Tasks ja auch OpenCV und zig andere in der Wissenschaft, Robotik, ... übliche Libraries beschleunigen.
Die TPUs sind afaik NN-only. Wobei das ja aber auch nicht tragisch ist, wenn man dann andere Beschleuniger oder schlicht dicke Xeon's oder Epyc's im Rechenzentrum hat (die aufgrund ihrer langjährigen Historie als Server-CPUs ja sehr gut mit fast jeder herkömmlichen Software skalieren), dann reicht es natürlich auch wenn die TPUs nur die NN-Simulationen stemmen und der Rest ausgelagert ist.
Nichtsdestoweniger gibt es selbstredend Szenarien wo es ganz nett ist, mehr als nur die NNs selbst auf einem Beschleuniger wie einer Tesla laufen zu lassen.
Gerade im sehr mobilen Bereich, etwa bei Drohnen, Robotern, ..., muss man sich wegen der Leistungsaufnahme ja sehr beschränken und eine NVIDIA-GPU bekommt eine ganze Anzahl an pre-/post-processing tasks, die neben einem NN ja häufig anfallen, recht effizient berechnet.
