No hay ningún problema con lo que comentas, al contrario....más "relajado" irá el amplificador.
Unos altavoces con una resistencia nominal de 8 Ohmios (lo que suele ser muy habitual) hará que el amplificador entrege una potencia determinada en función de esa carga (8 Ohmios). Si le aplicas una resistencia mayor (p.e. 16 Ohmios) el amplificador entregará menos potencia, pero si la resistencia de los altavoces disminuye (p.e. 4 ohmios) el amplificador entregará más potencia (teóricamente el doble, aunque en la práctica sólo es así en los diseños más caros por decirlo de alguna manera).
Evidentemente llega un momento que el amplificador no puede entregar más potencia (por su diseño) por lo que hay que poner un "limite" a los altavoces a utilizar....por eso especifican una impedancia mínima que pueden manejar. ´Limite por arriba no hay.... podrían manejar altavoces de 16, 32 ohmios, etc pero la pérdida de potencia y el escaso rendimiento hacen que sea algo absurdo.
Aunque te cueste creer además de los altavoces de 4 Ohmios ( muy habituales también) existían altavoces con impedancias nominales inferiores (3-2 oHmios) como algunos diseños de Apogee o de Cello en su momento. Si un amplificador básico o de gama media es capaz de entregar 100 watios a 8 Ohmios, imagina la potencia que debería ser capaz de entregar a 1 Ohmio....(teóricamente 800 watios por canal) cosa que es absolutamente imposible por los condicionantes de diseño que te comentaba: transformador, condensadores, transistores de potencia, disipadores de calor, etc.
Como un amplificador "standard" como el que tienes o los que tengo yo por poner un ejemplo, no son capaces de trabajar con estas cargas (que literalmente los freirían) los fabricantes advierten de la carga mínima con la que son capaces de trabajar sin riesgo (entrar en protección, avería, etc.) mediante estas inscripciones. Por tanto el problema está si bajas de ese mínimo y no por arriba.
No obstante te adelanto que si podrías usarlos, pero no es recomendable....ya que lo más probable es que entre en protección (en el mejor de los casos), tengas una avería (caso intermedio) o que simplemente lo achicharres.....