Durante el Señorío Independiente de los Castro en la segunda mitad del siglo XII fue su residencia. En la toma definitiva a los Almohades del 25 de Enero de 1232 un biznieto de Fernando Rodríguez de Castro se significó en el asalto ganando para su familia la mitad del gobierno local asentandose en el viejo alcázar de sus antepasados e iniciando con su esposa Isabel Cabeza de Vaca el mayorazgo al que después su tataranieto Alfonso Fernández añadiría Altamirano, mote que les venía de vivir en tan "alta mira" ¡esos Altamiranos!. Los últimos emigraron a Galicia allá por 1800. Su escudo son diez rodelas pues estaban exentos de pechos y espadas.