Polhov Gradec ima zanimivo staro vaško jedro. Lahko si ogledamo kulturne znamenitosti kot so Oštetarjeva hiša, Kaplanija, ulica Usrana gasa, hiša pri Peku, Severjeva hišo, Gostilna pri Pratkarju, Kulturni dom Jakoba Trobca, spomenik NOB, cerkev Marijinega rojstva in ostalo. Staro jedro je večinoma strnjeno okoli cerkve Marijinega rojstva, ki je bila zgrajena v letih od 1728 do 1736 v baročnem slogu. Današnji videz je dobila v 19. stoletju, ko so jo povišali skupaj z zvonikom. V notranjosti izstopa predvsem zlati baročni oltar, ki je delo domače rezbarske družine Facija iz štiridesetih let 18. stoletja. Njihova delavnica je bila slavna zaradi odlične kvalitete dela. Vaške hiše so bile večinoma zgrajene v 19. stoletju. Izstopajo predvsem z rastlinskimi in geometrijskimi motivi okrašeni portali. Oštetarjeva hiša je bila narejena v 16. stoletju. Ohranila so se poznogotska in baročna okna. V notranjosti so še vedno izvirni leseni strop, kamnito notranje stopnišče in kamnoseško oblikovani notranji portali. Kaplanija izvira iz leta 1803 in je podolgovata nadstropna stavba. V ulici, ki se po domače imenuje Usrana gasa, so hiše dobile imena, ki razkrivajo poklice obrtnikov kot so hiša pri Peku, pri Kapčarju in druge. Hiša pri Peku izvira iz leta 1838 in ima ornamentiran kamnit portal. Zgornje nadstropje ima značilne številne okenske odprtine. Severjeva hiša nam prikazuje vaško življenje v 19. stoletju in lahko vidimo še ohranjeno črno kuhinjo. Pristava je območje na levem bregu reke Božne. V tem delu je najbolj pomembna hiša Gostilna pri Pratkarju, ki ima lesen gank s stebričasto ograjo.