Construido entre los siglos XII y XVI, fue numerosas veces restaurado y ampliado, posiblemente desde Alfonso X hasta Felipe II. A este último se debe su aspecto actual, su "silueta" lo hace único entre los castillos españoles.

En la Edad Media, por su seguridad como por la proximidad de zonas de caza, el Alcázar se convirtió en una de las residencias favoritas de los Reyes de Castilla en especial de Alfonso X. Fue habitado muchas veces y llegó a ser uno de los más suntuosos palacio-castillos en el siglo XV.