Uma lápide de pedra colocada na sacristia da Igreja de Sant´Ana atesta que a mesma terá sido edificada em 1725 pelo Padre João da Costa Aragão, filho do Tenente-Coronel Diogo Lobo Pereira, governador da Praça de Loulé. Ao que consta, o chamado “Solar dos Lobos” só foi iniciado cinquenta anos mais tarde pelo Capitão-Mor Manuel José da Gama Lobo Pessanha, filho de Nuno Mascarenhas Lobo e neto do referido Diogo Lobo Pereira.
Devido a divergências com o Juiz-de-Fora pouco depois do seu início a obra foi embargada e só quase cem anos depois é que o solar foi concluído por António José de Matos Mexia Costa.
Outra lápide, desta feita colocada no lado direito da Igreja, permite saber que em 1875 a Capela foi retocada através de dádivas de D. Maria Augusta Sovereira Zuzarte (prima e herdeira do último descendente dos Gama Lobo, Sebastião Alexandre da Gama Lobo) e e que entre 1891 e 1893 foi completamente renovada por devoção de António José de Matos Mexia da Costa, de sua esposa D. Maria Augusta Mascarenhas Matos e de sua filha D. Maria Bárbara Mascarenhas de Matos.
Nos finais do século XIX a casa e a quinta circundante são então propriedade da família Aragão Barros, rica e importante burguesia rural. Embora designado “Solar de Aragão”, a população louletana chamava ao edifício “A Boavista” ou a “Sr.ª de Sant´Ana”.
Na década de 30 de 1900 o “Solar Aragão” era ocupado por descendentes da família Aragão Barros que em 1936 alugaram o edifício e a quinta circundante a religiosos jesuítas espanhóis fugidos à Guerra Civil Espanhola. Em 1932 foi extinguida em Espanha a Companhia de Jesus e esta era detentora, na província da Bética, do Seminário de S. Luís Gonzaga, em Puerto de Santa Maria (perto de Cádis). Foram esses alunos e professores jesuítas que se transferiram para Loulé e aí criaram, actual edifício nas traseiras do solar, um colégio que era frequentado apenas por alunos espanhóis. Esse estabelecimento de ensino foi chamado de Colégio de Estudos Clássicos, ou de Humanidades e Línguas Clássicas, “Gonzaga”, e chegou a ser frequentado por 76 pessoas entre sacerdotes, escolares e coadjutores.
Depois de estabelecidos no solar arrendado, os jesuítas solicitaram à Câmara Municipal de Loulé autorização para ampliarem as instalações de acordo com projecto apresentado. A sua pretensão era construir um novo edifício nas traseiras do “Solar” com frentes para a estrada de Salir e interior da Quinta da Boavista. O novo edíficio, com rés-do-chão e 1.º andar, comportaria no 1.º piso, três salas de aula, quarto quartos, sentinas e duas casas de banho, bem como um refeitório e cozinha e, no 2.º piso, destinar-se-ia a camaratas para 34 pessoas e duas sentinas. Os diversos requerimentos apresentados foram assinados por José Maria Villoslada, padre e primeiro ministro do Seminário.
Em 1939, terminada a Guerra Civil Espanhola, os jesuítas espanhóis regressaram ao seu país e a família Aragão Barros retoma o “solar”.
Nos finais dos anos 50 e inícios dos anos 60, a Comissão Carnavalesca de Loulé começa a anunciar os bailes de Carnaval para o então já conhecido como “Palácio dos Espanhóis”.
Ao longo das últimas décadas o “solar” ou “palácio”, edifício brasonado, tem sido usado para diversos fins, nomeadamente como sede de escolas de música, sítio para o Rancho Folclórico ou as Majoretes de Loulé levarem a cabo os seus ensaios e espaço de outras actividades artísticas e culturais.
O Palácio Gama Lobo foi sujeito uma extensa obra de reabilitação entre 2017 e 2019, tendo sido inaugurado a 1 de Junho de 2019. O Palácio é hoje a sede do Loulé Criativo, projeto da Câmara Municipal de Loulé, de desenvolvimento territorial, que aposta na valorização da identidade local, promovendo a cultura e património na sua relação com o contemporâneo e funciona como Espaço de Conhecimento, Ofícios e Artes, dinamizador de várias atividades, exposições, residências criativas, oficinas, experiências criativas e formação. Inclui Sala de Exposições, Posto de Informação/atendimento, Loja, espaços para workshops e formação, o Loulé Design Lab, zona administrativa, zona de alojamento/residência. Está aberto ao público de segunda a sábado, sendo possível visitar a exposição e o palácio.
Quanto à Ermida a Câmara Municipal de Loulé procedeu ao seu restauro interior e exterior nos anos de 2006/2007. Nas Actas de Janeiro de 2008, a Câmara cedeu à paróquia de S. Clemente o espaço da Igreja de Sant´Ana para que aí fossem realizados os diversos serviços eclesiásticos. A 5 de Janeiro do mesmo ano realizou-se a cerimónia religiosa de bênção do espaço da Ermida de Sant ´Ana e das respectivas imagens que nela figuram. A partir dessa data a Ermida passou a ser o local onde se realizam praticamente todos os velórios das pessoas falecidas nas freguesias de S. Clemente e S. Sebastião.
Nos séculos passados esta ermida terá servido de capela particular dos Gama Lobos e nela podia encontrar-se a imagem de Sant´Ana, a única existente em Portugal, datada de c. de 1565. Trata-se de uma figura em madeira, com 120 cm por 52 cm, cujo autor se desconhece.