He logrado que haga transcoding de los 'mkv', pero no va fluido (no he podido dedicarle demasiado tiempo, pero creo que es más bien problema de mi PC, que no tiene potencia suficiente). He probado con bitrates de 4096k y 8192k y no noto diferencia, pero ambos se los traga. No he probado a hacer transcoding con otros formatos (bueno, con ogg, pero no tira).
Para el transcoding he seguido más o menos el documento de Gentoo (http://en.gentoo-wiki.com/wiki/MediaTomb), usando FFmpeg. También he adaptado partes de este config.xml (http://blog.smunk.org/files/config.xml ) salvo los scripts que usan VLC (no hace transcoding con vlc, cosa rara).
En resumen, uso la conexión de red (dlna) para los avis y para los mkv de momento un HD externo con WD TV, para evitar los tirones. Si avanzo algo más con el tema, ya lo comentaré.