No se muy bien lo que has hecho, pero en los AVR, BDs, etc., el conector RCA amarillo es para imagen (video compuesto).
Debes conectar la salida SPDIF (supongo que sera un conector jack de 3,5mm), mediante un cable jack mono - 1 RCA (no se si un cable jack estereo-2RCAs valdría), a una entrada digital coaxial. Habitualmente están marcadas en una zona indicada como "digital input", y suele estar junto al rotulo "COAX".