Llegamos al edificio más peculiar del conjunto, el Palacio de Carlos V, que no tiene nada que ver con el resto, principalmente porque fue edificado bastante más tarde, y en un estilo totalmente distinto. Se trata de un edificio cuadrado (o casi cuadrado) con un patio interior circular, y porticado. Si no me equivoco es sede de un par de museos.