Esos cacharritos como tu los llamas están hechos para conseguir dos salidas de una, NO para conmutar dos señales.

Como tu has comprobado, cuando las juntas, se "suman", pero al apagar una de ellas, hace de "sumidero" y se atenúan (suerte que no será mucha intensidad y no te cargas la salida al meterle señal inversa

Lo que necesitas es un conmutador o switch, de este tipo: Conmutador de señal de audio y video AV 4 a 1 Multi-fuente - sin Gastos de Envío - DealExtreme

Con eso puedes seleccionar la entrada que quieras. Éste creo que no es automático, pero me parece que los hay que sí o con mando a distancia