Hrad byl ještě několikrát v průběhu 15.,16. a 17. stol. rozšiřován. Vznikl rozlehlý dolní hrad s hospodářskými budovami (kuchyní, místnostmi pro služebnictvo, sklepením).  Byly vytesány nádrže, ve kterých se shromažďovaly zásoby vody pro potřeby obyvatel a hrad byl přizpůsoben i rozvíjející se vojenské technice. Nedobytý hrad však nebyl schopen odolat silám přírody a 31. srpna 1675 podlehl požáru následkem zásahu bleskem. Majitelé nezahájili jeho obnovu a hrad se postupně měnil v malebnou zříceninu, jejíž krása začala přitahovat turisty. S myšlenkou na ně byla v baště dolního hradu v roce 1822 zřízena dodnes existující turistická chata.

Nejvýznamnějším hostem byl kněz Karol Wojtyła (pozdější papež Jan Pavel II.), který začátkem září 1956, společně se skupinou studentů, cestoval na kole po Jelenohorské kotlině. Na památku těchto událostí byla v roce 2007 vyznačena a slavnostně otevřena Papežská stezka a zároveň byly v tzv. „paláci“ horního hradu zazděny pamětní desky .

Při prohlídce hradu můžeme spatřit pozůstatky budov z jednotlivých období výstavby, vystoupit na věž a obdivovat půvabné okolní panorama a poslechnout si legendu o krásné, leč ukrutné princezně Kunegundě.