Jejeje, lo estás haciendo correcto pero a medias

Solo con la R te funciona, pero pierdes unos 3db de sonido

La solución es muy fácil y barata, usa uno de éstos para que el extremo de tu cable se pueda conectar al L y R:

Adaptador RCA hembra a 2 RCA * macho - sin Gastos de Envío - DealExtreme

Así lo tengo yo.

Otra opción es comprar un cable en Y, pero obviamente, teniendo ya un cable, es mas cara