Manjše naselje Vesela gora je razgledna točka, ki se nahaja nad Mirnsko dolino zahodno od večjega naselja Šentrupert. Kraj je od leta 1993 samostojno naselje, pred tem pa je bil del naselja Brinje, kjer so istočasno z romarsko cerkvijo sv. Frančiška Ksaverja postavili še kapelice križevega pota ter kapelo Žalostne Matere božje.
Sedanja cerkev sv. Frančiška Ksaverja se nahaja na mestu prejšnje starejše cerkve, ki se leta 1391 omenja pod imenom sv. Marija na Gori oziroma sv. Magdalena v Ravniku. Nova božjepotna cerkev je bila posvečena leta 1735. Frančišek Ksaver je bil eden od ustanoviteljev jezuitskega reda in pomemben misijonar. Njegovo čaščenje je prišlo v veljavo predvsem zaradi ljubljanskih jezuitov.
V naslednjih desetletjih so cerkev opremili in okrasili z donacijami, ki so jih prispevali okoliški plemiči. Romarska pot na Veselo goro je bila leta 1782 ukinjena po ukazu Jožefa II. V letu 1885 je bila zaradi požara uničena čebulasta streha zvonikov iz skodel in takrat je cerkev dobila sedanjo obliko strehe. Zadnjo veliko obnovo je stavba doživela v letu 2000.
V cerkveni notranjosti izstopa glavni oltar, ki je izjemno rezbarsko delo iz leta 1735. Oltarne slike so Bergantove (Sv. Janez Nepomuk) in Metzingerjeve (Smrt sv. Jožefa, Sv. Margareta). Orgle je cerkev dobila leta 1751 in so delo ljubljanskega orglarja Marka Göbla. V 19. stoletju je baročni instrument doživel velike predelave, v letu 2003 pa so ga strokovno restavrirali. Freske je leta 1760 naslikal slikar Anton Tušek iz Škofje Loke.
Na južnem delu od cerkve stoji Barbova domačija, ki je bila sezidana leta 1768. Služila je za potrebe bivanja duhovnikov in bogatejših romarjev. V njej so leta 1974 uredili etnološko muzejsko zbirko. Notranjost cerkve sv. Frančiška Ksaverja in kapele si je možno ogledati po vnaprejšnji najavi v Župnijskem uradu Šentrupert na Dolenjskem.