Nad mestom se dviga Krancelj (475 m) in na pomolu, ki štrli z brega, stoji Loški grad. Zgrajen je bil torej na robu naravne terase in pod njim je začela nastajati naselbina trgovcev in obrtnikov. Prvič se omenja v listini iz leta 1202 in je naveden kot zelo trden grad. Prvotni grad so zgradili freisinški škofje. Bil je sedež oskrbnika ali glavarja, v njem je stanoval škof, kadar je prišel pogledat svoje gospostvo. Ob potresu leta 1511 je bil skoraj povsem porušen, škof Filip ga je dal obnoviti. Na grajskem dvorišču je bil nekdaj mogočen štirikotni stolp, katerega temelji so vidni še danes. Danes je grad namenjen zbirkam Loškega muzeja, kjer si lahko ogledate kulturno, etnološko, zgodovinsko, umetnostnozgodovinsko in prirodoslovno bogastvo škofjeloškega ozemlja. V okolici gradu je prostor za koncerte in sprehajalne poti, ki so najbolj čudovite v poletnem času. Proti mestu se spustimo po razgledni poti mimo dobro ohranjenega mestnega obzidja, ki je varovalo mesto več stoletij.