En la última opción (codificar a DTS) la pista DTS-HD MA debe aparecer como DTS en el AVR, no como DTS-BD MA. Si es así es correcto.
En la primera opción (paso directo primario), al elegir la pista HD, la señal parece llegar al AVR pero este no es capaz de entenderla y descodificarla, dando el chisporroteo de los archivos de audio sin descodificar, por lo que creo que el problema se debe al Onkyo (no funcionamiento de la descodificación HD), menos probable será que el reproductor no sea capaz de enviar esos formatos directamente (cuando si lo hace con las pistas no HD).
La prueba definitiva sería probar con otro reproductor o PS3 actual. O llevarte el reproductor a la tienda donde tengan más AVR y que te dejen comprobar su adecuado funcionamiento.