Tu plan no funcionará, pues la señal de salida del TV, por muy óptica que sea, no llevará el archivo DTS o Dolby que le entre al TV (desde un lector externo) hacia el AVR.

Tendrás que poner la conexión optica directamente desde la PS3 al AVR, y otra conexión óptica desde el TV al AVR para poder oir los canales TDT (en mono, estéreo o en Dolby en el raro caso de que el canal emita en 5.1).

No gastes mucho en cables y si dudas donde poner el money, hazlo en el AVR.