Pues no señor, porque el conector HDMI también es más frágil de lo que parece. Siempre que puedas, intenta dejar la instalación fija. Además, se oxidarán menos los cables si estan conectados que si están al aire.
El costo de un switch manual es perfectamente asumible. Yo me compré uno por 12 € en DealExtreme.