Es que por DLNA pueden ser mil cosas, de hecho normalmente por ese protocolo es el servidor y no el cliente el que hace la transcodificación del vídeo. Yo probaría a compartir por samba (SMB) la carpeta donde tengas el BD Remux y añadas esa carpeta como fuente en XBMC y reproducirla, así podrás ir descartando cosas.

Un saludo.