El castillo palacio de Altamira o Alcázar de la Señoría, fue construido a finales del siglo XV por el noble castellano Gutierre de Cárdenas, primer señor de la ciudad, tras haber vuelto a la Corona con los Reyes Católicos, convirtiéndolo en su residencia habitual. No obstante, es probable que fuera construido sobre una obra anterior del siglo XII o XIII, que formaría parte de las defensas de la villa amurallada almohade. Perteneció a los Condes de Altamira.