Si tanto el TV como el AVR son 4K, y la resolucion nativa te dice que es 1080p, algo falla. Te deberia reconoce el 2160p como nativo.
Por otro lado, tiene pinta de que el cable que usas no es 4K 18Gbps. Prueba a poner 4K 30Hz a ver si asi te deja poner el HDR. O en el panel de configuracion de Nvidia, en vez de poner RGB, pon YCbCr 422 y prueba el HDR asi