A estrutura remonta a um voto formulado em meados do século XVII por um natural de São Roque do Pico, Sebastião Ferreira Pimentel. Quando em trânsito para Lisboa, a embarcação em que viajava foi atacada por piratas. Em pânico, tripulação e passageiros viram a sua nau ser envolvida por uma nuvem densa, tendo Ferreira Pimentel afirmado ter visto na enxárcia do mastro principal, nesse momento, uma figura feminina radiosa, de rara beleza.
Em agradecimento pela graça alcançada, os pais de Ferreira Pimentel, Sebastião Ferreira de Melo e Margarida Vieira, fizeram erguer em 1658, no Cais do Pico, uma pequena ermida sob a invocação de Nossa Senhora do Livramento.