Si lo haces en los dos altavoces no pasa nada, si haces ese cambio solo en uno, pierdes "escena sonora" y suena "raro".
el efecto físico es que un altavoz va "al revés", es decir, cuando la membrana de un altavoz sale, en el otro se mete hacia a dentro, cuando en realidad, las dos tienen que salir hacia a fuera.