Su construcción es anterior al siglo XI probablemente durante el período califal. Era la residencia del califa y está situada en la zona más alta de la Villa por razones defensivas. Queda protegida por una muralla con puertas que la comunican con el exterior e interior. Aún es reconocible el cerco amurallado que da a la Villa y dos de sus torres.
Forma de acceso: subiendo por la Cuesta del Castillo hasta la Plaza de Armas o del Castillo.