Te digo lo que haría yo, partiendo de cero, para escuchar solamente clásica.
Primero, una suscripción online. Por ejemplo, Idagio que te ofrece resolución CD y está especializada en música clásica. Cuesta 10 Euros al mes.
Segundo, un streamer. Yo uso el Bluesound Node 2i. Funciona bien, y tiene Idagio. Cuesta unos 500 Euros.
Tercero, DAC + amplificador de auriculares. Aquí podríamos gastar toneladas de dinero. Pero siendo realistas, hay diferentes posibilidades y por unos 1000 Euros tienes muy buenos equipos.
Cuarto, auriculares. Pongamos unos 500 Euros.
Quinto, altavoces activos. Busquemos algo por unos 1000 Euros.
Así estaríamos en torno a los 3000 Euros de presupuesto, podrías manejar lo que quieras por Bluetooth, y además tendríamos todos los equipos separados.
Hay infinitas otras opciones, por supuesto. Si no necesitas altavoces, o no necesitas auriculares, pues eso que ahorramos. Si prefieres amplificador + altavoces pasivos. Si necesitas un lector de CDs,...
Puede que te sientas abrumado por el número de variantes. No te preocupes; lo más importante, es disfrutar de la música, y ya has dado el primer paso.