Si los altavoces de 4 Ω los quieres poner junto a los de 6, la conexión has de hacerla en serie, no en paralelo, así la impedancia de ambos se sumará, no dando problemas de carga al amplificador.
Aquí tienes un diagrama de cómo son las conexiones en serie y en paralelo, y cómo se calcula la resistencia total (ten en cuenta que a menor impedancia más le cuesta al amplificador hacer su trabajo):
Si tu intención fuese sustituir unos por otros, los de 4 Ω obligarían a trabajar más al amplificador, pudiendo dar problemas de distorsión, sobrecalentamiento y entrada en autoprotección (o lo que es peor, clipping) si el volumen que le pides exigen un voltaje para el que no dispone corriente suficiente. Es por ello importante, si es así como te planteas poner los altavoces (solo los de 4 Ω), saber cuál es su sensibilidad y a qué distancia te situarás para escucharlo.