Martín de Chaves (nieto del Mozo) e Isabel de Mendoza inician el mayorazgo bien avanzado el siglo XVII reformando la vieja casa fuerte, que había junto a una antigua mezquita, y que defendía por occidente la puerta de San Andrés. Los Chaves Mendoza construyeron su palacio sobre la mezquita. Todos los lugares de los diversos cultos siempre coincidieron, de mezquita fue a parar a ser capilla de los frailes alcantarinos o del Hospital después, y hoy del señor Duarte Pinto Coelho.
	Es un edificio a investigar. Joaquín de Chaves y Mendoza fue el cabeza de la 5ª generación, fundó el convento agustino de Santa Cruz de la Sierra, marchó a Madrid y murió sin sucesión. Después de la invasión francesa los franciscanos Alcantarinos o Descalzos utilizan el edificio abandonado pues su convento de la Magdalena estaba arruinado. Los frailes estuvieron hasta 1836. En 1867 se convierte en hospital municipal.
	En 1890 llegaron las monjas Amantes de Jesús y atendieron el hospital hasta 1894 que hubieron de dejarle por carecer de medios. En 1904 se hizo cargo la Fundación de Hernando y Doña Francisca Pizarro. Fue hospital hasta hace pocos lustros que se malvendió a un norteamericano y hoy lo tiene este decorador portugués.