Bei "Direktübertragung", also ohne DTS encoding, bekommst du nur Stereoton, weil die Bandbreite die über das optische Kabel möglich ist extrem gering ist und nur für zwei unkomprimierte Kanäle reicht.
Für 5.1 Sound muss die Soundkarte den Ton vorher ins DTS Format komprimieren.
Die Komprimierung kann man sich sparen, wenn man direkt mit analogen Audiokablen verbindet, also wahrscheinlich in deinem Fall mehrere Klinkenstecker.
Heute wird 5.1 Sound normalerweise unkomprimiert (aber digital) über HDMI übertragen. Die optischen Kabel sind nicht mehr üblich, da veraltet.
Das alles hat aber wenig mit dem Problem zu tun. Wenn du deine Anlage weiterhin über das optische Kabel betreiben willst, und eine Soundkarte hast, die DTS Mehrkanalton für deine Anlage encodieren kann, dann ist es höchst wahrscheinlich ein Konfigurationsproblem im Treiber. (was dir ja auch klar ist, ich wills nur nochmal für alle erklären)
Dass du das Gerät in Windows nicht als 5.1 konfiguriert bekommst, ist aber sehr wahrscheinlich der Kern des Problems.
Ich habe selbst nie sowas (DTS Encoder) genutzt, nur Analog oder später HDMI, aber ich kann dir zur grundlegenden Funktionsweise sagen, dass deine Anwendungen das Ausgabegerät auch als 5.1 Gerät erkennen müssen, sonst geben sie noch nichtmal 5.1 Sound an den Soundtreiber aus, sondern nur Stereo. Da würde es schon am ersten Glied in der Kette scheitern.