aber nix wird so heiß gegessen wie es gekocht wird

man schaltet die LS ja üblicherweise nicht bei voller Last um und dann ist Wechselstrom nicht so "böse" zu den Schaltkontakten wie Gleichstrom (der bei LS niemals vorkommt).
In diesem Fall (zwei Quellen an einem Paar LS) sollte man aber auf jeden Fall darauf achten, dass der Schalter "in der Mitte" wirklich unterbricht!
Ich habe schon Umschalter gesehen, die absichtlich kurz beide aktivieren. Wenn man den eben zum Umschalten zweier LS an einem Verstärker Ausgang einsetzt, dann sind ganz kurz mal beide LS aktiv. Beide LS zusammen klingt eben wesentlich besser als wenn es einen kurzen kompletten Aussetzer gibt. In dieser Richtung kann das ein normaler Verstärker ab, aber wenn man den Umschalter "anders herum" betreibt und beide Verstärker kurzfristig "parallel geschaltet" werden, knall es mit an Sicherheit grenzender Wahrscheinlichkeit. Wenn man Glück hat schaltet nur eine Sicherung ab, es kann aber auch Schrott geben.
was ich ganz vergessen hatte:
da ich häufiger mal Verstärker und/oder Lautsprecher vergleiche, habe ich mir Umschaltboxen selber gebaut. Einfache Hochlast-Relais (ich habe relativ hochwertige genommen, weil damit auch recht hochwertige Geräte verglichen werden sollen, es sollten aber auch "einfache" reichen, z.B. aus dem KFZ Zubehör) und die Anschluss-Buchsen (auch hier kann man sich aussuchen wie "wertig" das ganze am Ende werden soll) in ein Gehäuse. Das eigentliche Umschalten erfolgt über eine fernbedienbare Steckdose und einem Steckernetzteil das die Relais anziehen lässt.
Das ist aus meiner Sicht eine recht komfortable Lösung bei sehr niedrigem Aufwand.