El cable balanceado XLR funciona mejor (porque lleva la señal duplicada, aumentando la relación señal ruido) si ambas conexiones son balanceadas, pero si una de ellas no lo es se pierde esa virtud.
Por tanto, si tu lector CD es de alta gama y tiene muy buenos decodificadores es posible que el paso de digital a analógico lo hagan mejor que los decos del AVR, y por tanto lo lógico sería pasar la señal por doble RCA.
Pero es muy poco probable que esa posible ventaja del lector frente al AVR sea detectable por nuestros oidos, por lo que la conexión digital tendría la misma bondad y añadidamente podrías aplicarle los DSP del AVR si te conviniese.