Ich denke, es liegt daran, dass der Explorer alle im Ordner enthaltenen Dateien erstmal prüft (z.B. für evtl. Thumbnail-Darstellung sowie weitere Ermittlung von Datei-Details) und das dauert dann (bei HDDs). Sind Files zudem fragmentiert, erhöht sich die Dauer (bei SSDs wäre das zu vernachlässigen). Selbst mit Defragmentieren (nur HDDs) könnte man keine Reduzierung auf Null erreichen, da Windows jede Datei "in die Hand nimmt" um gewisse Daten zu ermitteln, wie zuvor erwähnt.
Meine Empfehlung wäre daher, wenn die Zeit wirklich so ein Faktor für Dich ist, mit einem Dateimanager wie z.B. Multicommander zu arbeiten. Der tastet die Dateien standardmäßig nicht ab wie es der Explorer macht. und ist daher, wie andere Dateimanager auch, erheblich schneller im Ordnerzugriff. Sollten Files fragmentiert sein, wird jeder andere Dateimanager aber auch durch das "Zusammenpuzzeln" der Datei/en ausgebremst werden, jedoch bei weitem nicht so, wie es beim windowseigenen Bordmittel der Fall ist. Zuvor defragmentieren würde ich nicht empfehlen, sobald man geräteübergreifend arbeitet. Das stünde in keinem Verhältnis.