O založení kostela není přesný údaj. První písemná zmínka je z let 1224-1225 kdy za Přemysla Otakara I. se uvádí, že v kostele Narození Panny Marie proběhlo zasvěcení rotundy právě této světici. Z této doby pochází i pečeť biskupa Pelhřima nalezená v roce 1865 ukrytá v původním oltáři. Nejmladší částí je sakristie na severní straně, přistavěná pravděpodobně v barokní době. Apsida je osvětlena třemi okny, upravenými goticky, původně obsahující malby na skle. V kostele se pak nacházely fresky, jež zanikly při jeho opravě roku 1865. Zachovaly se jen zbytky postav světců ve špaletách gotických oken. V podvěží pak byly restaurovány středověké fresky.

Tato jeskyně již dnes neexcituje. Její poloha byla zanesena do mapy M. A. WOGTA již v roce 1729. Nacházela se pod bývalým kostelem sv. Prokopa a tvořila jí dvakrát esovitě zatočená chodba, která směřovala k jihozápadu. Její celková délka byla cca 120 m. Význam jeskyně byl v bohatých nálezech vyhynulé zvířeny. Například jeskynního medvěda, mamuta, či nosorožce srstnatého. Mezi cenné nálezy patří také lebka člověka Homo sapiens fossillis.

Kaple stojící v Husových sadech byla postavena na počest 50. výročí vlády císaře Františka Josefa a jako upomínka na tragické úmrtí jeho manželky císařovny Alžběty zvané Sisi.

Poutní areál s kostelem Panny Marie Pomocné nalezneme asi 4 km jižně od Zlatých Hor. Vznik poutního kostela je spojen s příběhem, kdy se v těchto místech ukryla před vpádem švédských vojáků těhotná žena místního řezníka Anna Tanheiserová. Ta zde v úkrytu staré jedle porodila zdravého syna Martina, který se později stál váženým občanem města – radním. Jeho dcera pak vyplnila otcovu poslední vůli. Nechala zhotovit obraz Bohorodičky a v roce 1718 jej zavěsila na starou jedli v místě otcova narození. V následujícím roce zažil u tohoto místa s obrazem krejčí Samuel Richter ze Zlatých Hor zjevení. To se zakrátko rozšířilo po celém okolí a k obrazu začali přicházet poutníci z celého okolí. Z jejich darů pak byla zakrátko postavena dřevěná kaplička, do které byl obraz umístěn. Ten měl prý velkou léčebnou sílu a po přezkoumání několika případů odbornou komisí byl obraz 21.9.1729 přenesen do farního kostela ve Zlatých Horách. Na jeho místo byl umístěn obraz podobný. V roce 1785 za vlády císaře Josefa II. bylo nařízeno kapli zbourat, nenašel se však nikdo kdo by to učinil. Roku 1805 byla kaple přestavěna a zvětšena. Následně krátce poté bylo rozhodnuto o vystavění zděného kostela. V roce 1834 byl položen základní kámen a sedm let později byla nová stavba vysvěcena biskupem Danielem Sommerfeldem z Vratislavi. Do nově zřízeného poutního místa pak každoročně přicházelo tisíce poutníku ze širokého okolí a ciziny. Vše se změnilo po druhé světové válce, německé obvytelstvo bylo odsunuto a události po roce 1948 celou věc jen zhoršily. V roce 1955 sem byl zakázán přístup z důvodu důlních prací a objekt, který se skládal nejen z kostela, ale i ze dvou restaurací začal chátrat. Sice se v roce 1968 začalo s opravou kostela, ale v roce 1973 byl odstřelen a celý arál srovnán se zemí. Jediné co zůstalo byla pouze Posvátná studánka. Po roce 1990 vznikla iniciativa za znovuobnovení poutního místa. V únoru 1993 bylo vydáno stavební povolení a 23.9.1995 mohl být posvěcen nový kostel. O rok později byl dokončen poutní dům a o další rok pak ambity a pořízeny nové zvony. Na projekt za 27 milionů korun se podařilo získat pomocí různých sbírek. Poutní areál a blízké okolí je ve velmi dobrém stavu a přístupné. Před areálem se nachází parkoviště, kde lze zaparkovat.