A devoção a Nossa Senhora da Glória surgiu no início do século XVII, alguns anos após a fundação da cidade, quando no ano de 1608, um certo Ayres colocou uma pequena imagem da Virgem numa gruta natural existente no morro.
Mas as origens históricas remontam a 1671. O ermitão Antonio Caminha, natural do Aveiro, esculpiu a imagem da Virgem em madeira e ergueu uma pequena ermida no “Morro do Leripe”, onde já existia a gruta, formando-se em torno um círculo de devotos.
Diz a lenda que para presentear o rei D. João V, Caminha fez uma réplica da imagem embarcando-a para Portugal. O navio que a transportava naufragou e as ondas a levaram para uma praia na cidade de Lagos, no Algarve. Aí frades capuchinhos a recolheram, levando-a para o convento onde é cultuada até os dias atuais, na Igreja de São Sebastião.