Tras o peche do lazareto realizáronse diversas propostas de reutilización das instalacións, entre elas a creación dun aeroporto marítimo ou unha residencia para nenos orfos. Con todo, a Guerra Civil española paralizou calquera iniciativa e finalmente a illa converteuse en colonia penal, función que desempeñou entre 1936 e 1943, albergando presos de zonas próximas e tamén detidos procedentes doutros puntos de España.
Mentres a illa grande se destinaba a prisión, en San Antonio instalouse o acuartelamento dos soldados encargados de custodiar o penal. Unha vez finalizada a guerra, a época máis dura na vida da prisión, e a menos tensa posguerra, a colonia penal pechouse no ano 1948 e recuperouse como albergue de residencia temporal para os membros da garda do entón Xefe do Estado, Francisco Franco.
A illa volvería ser testemuña dunha nova traxedia no ano 1950, cando o naufraxio da lancha A Monchita provocou a morte de 43 membros da garda de Franco, o que supón a clausura definitiva do albergue.
As illas serían reutilizadas durante os anos 50 para a creación do Fogar Méndez Núñez para a formación de orfos de mariñeiros, un proxecto de vida efémera que funcionou entre os anos 1955 e 1963. O cruceiro en homenaxe ás vítimas do naufraxio de A Monchita, inaugurado en 1958 no illote de As Cobreiras, ao sur do arquipélago, foi o último elemento monumental levantado no conxunto de San Simón antes do seu abandono definitivo, que se prolongou durante trinta anos ata un novo rexurdir nos anos 90 do século pasado, grazas ao desenvolvemento do plan director que levará á rehabilitación das infraestruturas.