Si lo único que quieres es eso lo mejor es utilizar Windows como servidor multimedia. Tienes que activar esa opción en el sistema operativo, y a continuación compartir las carpetas que quieres que se vean en la red. Dependiendo de tu versión de Windows se llama de una manera o de otra, pero googleando un poquito lo encontrarás.

De esta forma, al entrar a "fotos y video" verás el nombre de tu PC como elemento desde el cual puedes reproducir videos. Y funciona muy bien.