Me imagino que realizarias una traducción de puertos desde tu router hacía tu servidor local. Eso, aunque funciona, tal y como pudiste comprobar no es seguro.
Si algún día decides volver a probar, el camino correcto sería disponer de un servidor VPN en tu red, con el que poder establecer una conexión privada entre tu teléfono móvil y la red de tu casa y una vez establecida esta conexión, tendrías acceso a tu servidor musical de forma, en principio, segura.