El lector DVD puede descodificar las pistas de audio o enviarlas tal cual para que las descodifique el AVR.
En el primer caso pasa el Dolby o DTS a formato PCM, pero como este solo pueden ir en dos canales por la salida óptica, si no has activado el Dowmix, puede que solo esté enviando la señal correspondiente a los frontales, y el AVR con el Dolby Prologic esté simulando un 5.1 al que le faltan voces y sobran efectos.
Por tanto, es mejor decirle al DVD que no descodifique, que envíe las señales Dolby/DTS tal cual, y eso suelen llamarlo bitstream, passthrough, raw o direct en la configuración (en español sería Directo). En este caso el AVR muestra el logo del DTS o el Dolby.
Si no te funciona, danos más "pistas", como: ¿con qué pista de audio tienes el problema? ¿qué lector tienes?