Vesela gora je slikovita razgledna točka, ki se nahaja nad Mirnsko dolino zahodno od večjega naselja Šentrupert. Vesela gora je od leta 1993 samostojno naselje, pred tem pa je bila del naselja Brinje, kjer so istočasno z romarsko cerkvijo sv. Frančiška Ksaverja postavili še kapelice križevega pota ter kapelo Žalostne Matere božje.
Barbova graščina stoji južno od cerkve sv. Frančiška Ksaverja. Sezidana je bila leta 1768 in je služila za potrebe prebivanja veselogorskih duhovnikov in bogatejših romarjev. Ko so bila romanja prepovedana, je graščina prešla v last družine Barbo. Na južni strani od Barbove graščine se nahaja Marijin steber, t. i. Črna Marija, ki je izdelana iz litoželeza. Steber je dal postaviti Robert Barbo, ko se je srečno vrnil iz prve svetovne vojne. V Barbovi graščini so leta 1974 uredili zanimivo etnološko muzejsko zbirko, ki zajema okoli 600 primerov kmečkega orodja in spominsko sobo čebelarjev Aleksandra Lunačka in Petra Pavla Glavarja.
Sedanja cerkev sv. Frančiška Ksaverja se nahaja na mestu prejšnje starejše cerkve, ki se leta 1391 omenja pod imenom sv. Marija na Gori oziroma sv. Magdalena v Ravniku. Nova božjepotna cerkev je bila posvečena leta 1735. Frančišek Ksaver je bil eden od ustanoviteljev jezuitskega reda in pomemben misijonar. Njegovo čaščenje je prišlo v veljavo predvsem zaradi ljubljanskih jezuitov. V naslednjih desetletjih so cerkev opremili in okrasili z donacijami, ki so jih prispevali okoliški plemiči. Romarska pot na Veselo goro je bila leta 1782 ukinjena po ukazu Jožefa II.
V letu 1885 je bila zaradi požara uničena čebulasta streha zvonikov iz skodel in takrat je cerkev dobila sedanjo obliko strehe. Zadnjo veliko obnovo je stavba doživela v letu 2000. V cerkveni notranjosti izstopa glavni oltar, ki je izjemno rezbarsko delo iz leta 1735. Oltarne slike so Bergantove (Sv. Janez Nepomuk) in Metzingerjeve (Smrt sv. Jožefa, Sv. Margareta). Orgle je cerkev dobila leta 1751 in so delo ljubljanskega orglarja Marka Göbla. V 19. stoletju je baročni instrument doživel velike predelave, v letu 2003 pa so ga strokovno restavrirali. Freske je leta 1760 naslikal slikar Anton Tušek iz Škofje Loke.