El problema lo tienes en que el Rotel RSX-1057 tiene conexiones HDMI de tipo
pass-through o switcher, y el AVR no captan el sonido que viaja através de sus conexiones HDMI, lo siento.
Por coaxial podrás oir el "core" del DTS-MA, un DTS al máximo bitrate (1,5 Mbps) y el Dolby al máximo bitrate (640 kbps) procedente del Dolby True-HD. Por si te consuela hay algunos que les parece mejor sonido que el procedente de los formatos HD descodificados a PCM por la PS3. En el hilo sobre estos sonidos de la sala HD podrás leerlo.
Saludos