Olvidate de la conexión a la TV y centrate en la conexión óptica al AV.

En la PS3 configura la salida de audio con la salida óptica y activala en bitstream. Además de lo cometado por matias_buenas, verás que en la configuración de audio también tienes las opciones Dolby Digital y DTS, activalas en la casilla correspondiente.

Logicamente asigna la entrada digital que tengas conectada en el AV y actívala y comprueba que no tienes un modo distinto de decodificación que el de auto o similar.

Si todo esto no funciona prueba con otra entrada digitlo tienes al, si sigue sin funcionar prueba con otro cable y si sigue sin funcionar tal vez pudiera ser que la salida óptica de tu PS3 no funcione, que no creo.

Saludos.