El formato o protocolo de conexión digital SPDIF puede viajar con cable coaxial u óptico (las dos inferiores de la imagen), según la conexión.
Por ello es muy probablemente el RCA de audio normal no te funcione.
También debes revisar si está activada esa salida en el soft de la tajeta y programa de audio.