Pues te voy respondiendo por partes.
Primero con lo más fácil, el tema del audio. Para que sea el AVR el que descodifique los formatos digitales debes activar una cosa que se llama "bitstreaming" que es pasar directamente el audio tal cual está empaquetado al AVR mediante un "Passthrought". En MPC-HC es muy fácil de configurar, abres cualquier archivo, luego en la ventana principal pinchas con el botón derecho del ratón sobre cualquier parte de la zona de vídeo y vas a filtros->LAV Audio Decoder y tienes una pantalla como esta:
Ahí tienes en la parte de arriba un cuadro de "Bitstreaming", activas todas las casillas que soporta tu AVR, que supongo que serán todas, ya solo tienes que aceptar, cerrar el programa y volver a abrir cualquier archivo de vídeo con uno de estos formatos de audio y ya se enviará directamente al AVR para que este lo descodifique. Prácticamente todos los programas de reproducción tienen una opción de configuración para hacer esto, normalmente lo llaman "Bitstreaming" o "Pass throught":
VLC:
XBMC:
Así podrás activar el bitstreaming en cualquier programa, tu siempre busca por bitstreaming y pass throught, bueno en alguno te puede poner salida sin descodificar o similar, pero el concepto es ese, casi siempre hay una opción para activar la salida sin descodificar o bitstreaming.
Ahora, a mí el reproductor que más me gusta con diferencia es MPC-HC, también me parece que es el que más calidad da, sobre todo porque es muy configurable y permite aplicar diversas mejoras, así que te explicaré como hacerlo con MPC-HC.
Primero decirte que lo más común con los problemas de "saltitos" y tirones se debe a una falta de sincronización entre los fotogramas por segundo (fps) del vídeo que reproduces y el refresco de la pantalla, este fenómeno se le conoce como judder
Cuando tu reproduces un vídeo en tu TV por DLNA, el refresco de la pantalla se cambia a un múltiplo del refresco del vídeo, por ejemplo, los BD son a 24fps, para ver el vídeo fluido y sin saltos el refresco del TV tiene que ser 24, 48, 72...etc. En cuando no es múltiplo exacto va a haber un momento en el que tenga que repetir o saltarse un fotograma en un determinado momento para hacer que cuadre la reproducción de vídeo y viendo así un pequeño salto, dependiendo del refresco, estos saltos se ven desde cada par de segundos hasta cada medio segundo, vamos que son continuos. Cuando son así de continuos mucha gente no los aprecia y se pasa la vida viendo películas con un judder tremendo, el vídeo incluso a 24fps se ve fluido.
Ahora, ¿cómo hacemos para que se cambie el refresco de forma automática?, pues muy fácil, en MPC-HC tienes una opción para el cambio automático de refresco, en opciones verás "fullscreen" o "pantalla completa" y ahí es donde tienes que activar el cambio automático a pantalla completa, pero ojo, que no es solo activar eso, sino que verás que hay unos desplegables al lado de rangos de frecuencias, ahí deberás ir poniendo las frecuencias que soporte tu TV que sean múltiplos de la frecuencia base, por ejemplo, para vídeos con fps de 23.5 a 23.981, deberías abrir el desplegable y seleccionar [24] @ 1920x1080, para el siguiente escalón, 23.982 a 24.499 lo mismo, [24] @ 1920x1080, para el siguiente escalón (sobre 25fps) ya puedes poner [50] que es múltiplo, para los que están en rango de 30fps, pones [60], es un poco laborioso, pero solo se configura la primera vez.
También te recomiendo que una vez que hayas hecho esto, actives el VSync:
Con esto conseguimos que se sincronice perfectamente los fps con el refresco de pantalla. Normalmente con esto es suficiente para ver cualquier vídeo perfectamente fluido.
Ahora un "truco" para que los vídeos ganen un poco de nitidez, se nota incluso en los 1080p, pero sobre todo en los 720p, se trata de usar un "shader" que son opciones de las que disponen las GPU para aplicar efectos sobre el vídeo, y el efecto que vamos a a plicar es de nitidez "Sharpen":
En esta imagen está puesto "Grayscale", pues tu en vez de ese pondrías "Sharpen" o "Sharpen complex 2", si no me equivoco, mejor en "post-resize". Te advierto que los Shaders consumen mucha GPU, con un solo filtro de Sharpen tu GPU no tendrá ningún problema pero si quisieras añadir más filtros es posible que acabe dando tirones el vídeo por falta de potencia de GPU, para que lo tengas en cuenta.
También te comentaré que existe un "render" muy bueno que sustituye al integrado en MPC-HC que es MadVR:
madVR - high quality video renderer (GPU assisted) - Doom9's Forum
Este se nota especialmente cuando reproduces DVD y contenido SD, con los contenidos HD la diferencia es muy pequeña y más con los filtros LAV que son muy buenos, sumado además a los shaders, normalmente ya no hace falta madVR, también comentar que madVR consume bastante GPU con lo que es posible que si mezclas madVR y otros shaders de MPC-HC tengas algún tirón o saltos por falta de potencia de GPU, dependiendo de filtros que pongas y nivel de exigencia de los mismos, pero los cambios pueden notables: