Hay RCA mono y stereo, el que estás tratando de alargar es stereo, estás usando el cable de audio equivocado, tienes que empalmar ambos conductores de cada lado del RCA.
Dicho de otra manera, si tienes 4 conductores como esperas que funcione si solo empalmas dos de ellos.