Grad Žužemberk stoji na skalni pečini nad reko Krko in predstavlja osrednjo dominanto Žužemberka. Leta 2013 je bil razglašen za kulturni spomenik lokalnega pomena. V pisnih virih se prvič omenja leta 1295. Takrat ga je Henrik iz Lupoglava v Istri prodal goriškemu grofu Albertu II., ki je ustanovil žužemberško gospostvo.
V 14. stoletju se je zelo povečal vpliv Auerspergov. Le-ti so imeli svojo posadko tudi na gradu Žužemberk. Na podlagi dedne pogodbe so Habsburžani leta 1374 dedovali goriška posestva, med drugim tudi grad in gospostvo Žužemberk. Ta je ostal do leta 1538 deželnoknežja posest. Po letu 1793, ko se je knez Viljem I. Auersperg z gradu preselil v dvorec Soteska, so bili v njem do leta 1898 državni uradi. Po njihovi izselitvi je grad začel propadati, vendar so Auerspergi ostali njegovi lastniki vse do konca druge svetovne vojne. V njej je grad Žužemberk utrpel velike poškodbe. Po vojni je bil nacionaliziran in dodeljen tedanji občini Žužemberk, po njeni ukinitvi pa občini Novo mesto. Leta 1998 je bila ponovno ustanovljena občina Žužemberk in grad je takrat prešel v njeno last. Kljub temu, da je grad Žužemberk že desetletja v razvalinah, predstavlja čudovit primer grajske arhitekture od 12. stoletja do 17. stoletja. Do druge svetovne vojne je njegovo višinsko dominanto poudarjal osrednji stolp in renesančni obzidni obroč z vencem bastij in stolpov. Večnadstropni stolp, ki je imel ječo v pritličju in kapelo v nadstropju, je bil tudi srednjeveško jedro objekta.
Ob njem so notranje dvorišče obdajali stanovanjski trakti. V 16. stoletju je bil grad razširjen v sedanji renesančni sistem obrambnih stolpov in bastij. V 17. stoletju je bil povišan za eno nadstropje, nivojsko izenačen in pri tem so zazidali prsobrane obrambnih zidov. Na dvoriščno stran vzhodnega in severnega dela obzidja so naslonili nadstropne arkadne hodnike, v severozahodnem delu pa so pozidali nov trakt z vinsko kletjo. Poskrbeli so tudi za štukaturno dekoracijo fasad. Ta je krasila tudi grbovno ploščo Auerspergov, vzidano na dvoriščnem delu južnega trakta. Srednjeveško jedro gradu Žužemberk je bilo na severnem delu obdano z obrambnim jarkom, ki je bil v 16. stoletju, ko je objekt dobil nov obrambni jarek, zapolnjen z novim stanovanjskim traktom. Preko jarka je nekdaj vodil lesen dvižni most, ki so ga kasneje nadomestili s kamnitim. Grajski jarek je bil precej bolj globok kot je sedaj, s prenehanjem vpadov Turkov pa sta se spremenila njegov videz in namembnost. Razvaline gradu Žužemberk je pričela spomeniška služba obnavljati po drugi svetovni vojni, obnova pa je dobila ponoven zagon po letu 1998.
Grad postaja središče kulturnega dogajanja v Žužemberku. V vinski kleti, edinem ohranjenem prostoru v gradu, in na grajskem dvorišču se je pričelo novo življenje. Poletne prireditve na gradu privabljajo vedno večje število domačih in tujih obiskovalcev, v njem pa gostujejo znane osebnosti zabavnega in kulturnega življenja.