Hola Cranky, bienvenido.
Lo que comentas es cierto, lo más importante es saber disfrutar de la música.
En tu caso yo empezaría cambiando las cajas del salón. Lo más importante en un equipo, con muchísima diferencia en mi opinión, son las cajas acústicas. El ampli "sólo" debe ser capaz de moverlas con soltura.
Yo en tu lugar mantendría por ahora tu Denon DM41 y la emparejaría con por ejemplo unas Elac Debut 6.2 o unas Magnat Supreme 802. Muchas veces no es necesario invertir mucho dinero para mejorar el equipo.
Un saludo