Grundsätzlich ist es kein Problem, auf die heimische Musik via VPN zuzugreifen. Auch wenn Audiostreams deutlich weniger Bandbreite benötigen als Videostreams, kann es im worst case aber zu Rucklern, o.ä. kommen, wenn zB Paketverluste auftreten oder die Bandbreite des heimischen Zugangs anderweitig ausgelastet ist. Alles was man an externer Stelle von daheim "runterlädt" bzw. streamt, wird zu Hause zwangsläufig hochgeladen, der Upload ist also entscheidend. Wie gesagt, bei Musik eher unkritisch, aber sollte es trotzdem nicht flüssig laufen, sollte man darüber nachdenken, die Songs bzw. die Playlist runterzuladen statt zu streamen.
50 Mbit/s VDSL sollte ~10 Mbit/s Upload haben. Das reicht prinzipiell dicke aus, wenn nicht zu Hause gleichzeitig die Dropbox, o.ä. synchronisiert und große Datenmengen ins Netz sichert.
Bei 2 Fritzboxxen an A und B kannst du diese auch direkt über eine Fritz2Fritz-VPN miteinander verbinden. Dann muss man nicht explizit auf einem PC einen VPN-Client installieren und die VPN-Verbindung manuell starten, sondern kann über die permanente Standortverbindung der Fritzen gehen.