Las salidas RCA (blanco y rojo) son las salidas de audio analógico del DVD. Estrictamente salida STEREO y ANALÓGICO.
La salida Digital Coaxial ( un sólo RCA ) es una salida estrictamente DIGITAL, y te permitirá una salida de la señal codificada con DOBLY DIGITAL y DTS ( formatos multicanal).
Éste segundo tipo de salida requiere que el "recpetor de la señal" tenga además de este tipo de conexión un decodificador de audio que sea capaz de "descodificar las señales Dolby Digital o DTS, es decir: que sea lo que comunmente llamamos receptor de audio/video.
En principio sólo se podría comprarar la calidad de una señal Stereo según usemos la salida analógica o digital, pero dependerá de la calidad de los DACS ( conversores digital/analógico ) del propio DVD (en el caso de la salida analógica) o del conversor incorporado en el receptor (en el caso de usar la salida digital).
Por lo demás son señales diferentes conceptualmente; una señal stereo puede ser sin comprimir o comprimida (dolby Digital 2.0 por ejemplo), y se entiende que la señal sin comprimir sea de más calidad (otra cosa es que la podamos apreciar). Por otro lado la señal que obtengas por la salida analógica siempre será stereo y por la digital puede ser multicanal (4.0, 5.0,5.1....) por lo que a priori no son comparables.
Las opciones que mencionas en el menú son las siguientes:
1) Convertir una señal Dolby Digital a PCM (distinta codificación), 2) bajar la frecuencia de muestreo de la señal ( hay aparatos que no pueden leer señales de 96 Khz) y 3) transformar la señal MPEG ( el que iba a ser el standar del audio multicanal para europa en los albores del DVD) en PCM.
Si dispones de un amplificador Stereo o receptor stereo deberás usar la salida analógica Stereo. So dispones de un recpetor de audio/video y deseas usar las aplicaciones de sonido multicanal usa la digital.