Dvorec Na Kalcu, narečno Kauc, se nahaja v bližini naselja Zagorje v pokrajinsko razgibani dolini Pivke, nedaleč od izvira Pivke. Grad Kalc stoji na pobočju Brega, do njega vodi kostanjev drevored. Od nekdaj mogočne utrdbe se je do danes ohranil le še stolp in razvaline.
Dvorec je dal sezidati Jurij pl. Steinberg okoli leta 1620. Podoba prvotnega gradu je ovekovečena tudi v Valvasorjevi Slavi vojvodine Kranjske. Ime je dobil po krajevnem imenu kal, ki označuje plitvo kotanjo, napajališče za živino ali mlako. Leta 1684 se je na Kalcu rodil Franc Anton Steinberg (1684-1765), nadzornik deželnih cest in upravitelj idrijskega rudnika, ki je zaslužen za razvoj mehanike, matematike, kartografije in krasoslovja na Slovenskem.
Od leta 1843 je bil grad Kalc v lasti skladatelja, pesnika, politika in slovenskega domoljuba Miroslava Vilharja (1818-1871). Vilhar je 9. maja 1869 na Kalcu organiziral šesti vseslovanski tabor, na katerem je 8000-glava množica zahtevala Zedinjeno Slovenijo in enakopravnost slovenskega jezika. Kalc je bil tedaj središče narodnega gibanja in kulturnega dogajanja. Tukaj je kot domači učitelj Vilharjevih otrok med letoma 1858 in 1861 živel pisatelj Fran Levstik, ki je avtor znane povesti Martin Krpan. Grad Kalc je bil kot del vasi Bač naseljen do leta 1919.
Od večjega kompleksa z gospodarskim poslopjem in kapelo se je ohranil le večkrat obnovljen stolp in drevored stoletnih vil in kostanjev. V bližini gradu izvira reka Pivka, ob večjem deževju pa v okolici nastane več presihajočih jezer. Mimo njega vodi Krpanova pohodniška pot.