Influye y mucho. Pero no es la cantidad de potencia, sino cómo entrega ésta. Déjame que intente explicártelo...
Hay muchos tipos de potencia anunciada que muchas veces los fabricantes nos vuelven locos, pero en este caso estaríamos hablando de potencia eléctrica. La potencia eléctrica es igual a tensión por intensidad. P=U·I=vatios.
De este modo, la forma de entregar la potencia un amplificador recuerda mucho a cómo se entrega en un coche. La potencia en un coche es igual al par motor que desarrolla por el número de revoluciones. Así, un mayor par y rpm proporcionan mayor potencia. Pero obviamente, la potencia no es la misma en toda la gama de rpm ni tampoco se entrega progresivamente. Cada coche tendría una curva característica propia; puede ser más plana o con cierta pendiente ascendente. Por ejemplo, podemos encontrarnos un coche con 100CV y otro con 60CV y que monten el mismo motor. Si! Si! mismo motor, distinta potencia... ¿Cómo? cambiando simplemente la caja de cambios. Muchos fabricantes recurren a esto. En este caso la entrega de potencia sería distinta y posiblemente el de 60CV la entregaría más rápido.
Por eso, en el ejemplo que has puesto de dos amplificadores 80W y 20W tendríamos que ver qué caja de cambios lleva.. (componentes eléctricos vamos).
Así, en un amplificador-altavoz la entrega de potencia se hace excitando el altavoz con cierta tensión e intensidad. Estas curvas (como en el caso del coche) varían dependiendo del amplificador-altavoz, entre otras cosas claro... pero también lo que está claro, que lo que influye es cómo entrega dicha intensidad y tensión. Este es el factor de amortiguación.
Por tanto, si un amplificador a volumen bajo es capaz de entregar una respuesta contundente sin venirse abajo, manteniendo cierta intensidad y voltaje, la curva de respuesta en frecuencia se mantendría más plana. Al mismo tiempo, aquellas frecuencias (sobretodo las más graves) se reproducirían ya que de otro modo se perderían o no serían totalmente audibles. En resumen, y respondiendo a tu pregunta un buen amplificador mantendría la respuesta en frecuencia del altavoz más plana, que si utilizásemos un amplificador con distinta forma de entregar la potencia.
Ahora bien, por muy bueno que sea el amplificador para aquellos que vamos perdiendo frecuencias de escucha puede recurrirse a efectos como el conocido loudness o el Dynamic EQ o Dynamic Volume del Audissey...
Espero haberte resuelto tu duda