Plex es un derivado de XBMC, al igual que Mediaportal, Boxee y prácticamente el 100% de los Mediacenters de hoy en día, no es más moderno ni soporta nada especial, de hecho al contrario, su desarrollo es bastante más lento y la comunidad que tiene detrás infinitamente menor a la de XBMC (lo mismo va para Boxee, son derivados del proyecto grande, XBMC, y tienen de momento un soporte menor y menos funcionalidades).
Con versión pre-11 me refiero a esta, por ejemplo:
http://sshcs.com/xbmc/downloader/?TF...SX_33fcf32.tgz es la última versión SVN para Mac OS, de ayer mismo, es la más moderna de todas las versiones (SVN quiere decir sin testear, versiones que sacan a diario con bugs corregidos hasta que salga la versión 11 oficial, de ahí que se llamen "pre-11").
Tu te has instalado la 10.1 oficial y esa no tiene soporte para
BD ISO. Prueba con la que te he dicho y verás como sí se puede (eso sí, no reproduce menús

).
De todas formas, no se si el Mac Mini tiene aceleración para reproducir HD, si no lo tiene no se si "podrá" con un Full
BD con sus picos de 40 y tantos Mbps de bitrate...