Por partes, combinar cajas de distinta impedancia nominal no supone problema. En el AVR (Denon) puedes seleccionar la impedancia más baja de todas las cajas que conectes, ojo, esto lo único que hace es limitar la entrega de potencia (como precaución ante cargas de baja impedancia, evita que se caliente, que eventualmente entrase en corto, etc) que es igual que dejarlo en 8 ohm y no abusar del potenciómetro, preferible generalmente.

Subwoofer pasivo, lo puedes conectar a las salidas de altavoces normales (alta señal) aunque si no controlas, mejor lo dejas sin utilizar en el Denon, pues si es pasivo, tendrá una impedancia nominal cercana a tus cajas, si lo pones en paralelo, estás dividiendo la carga total que "verá" el AVR, y tampoco ganarás baja frecuencia significativamente (si es que llegas a ganar algo, que lo dudo) por ser pasivo, porque de tus explicaciones deduzco que es algún modelo sencillo. Utiliza el resto de altavoces como dices para mientras montar un 4.0 al menos (dos traseros) como indicas, y listo.

Cableado, si no buscas esoterismos y porque dudo que notes diferencia, cualquier cable OFC (por aquello de retrasar la oxidación del cobre conductor) de 2.5 mm de sección te servirá, sea el que suelen vender en Amazon, en algún Leroy o similar.

Saludos.