Zgodovina župnije sv. Peter Radeče sega že v čas 14. stoletja. Že leta 1385 je imelo mesto lasten vikariat in stalnega duhovnika. Prvotna cerkvena stavba se je nahajala na predelu sedanje cerkve v samem središču Starograjske ulice.
Nastala naj bi v času pozne romanike in se v pisnih virih prvič omenja leta 1429. Bila je lesena stavba, brez talnega zidca, nahajala pa se je pet stopnic pod današnjim nivojem ceste. Po virih naj bi bila cerkev pravilno orientirana, široka 7,7 metra, dolga 16,6 metra in visoka 7 metrov. Župna cerkev je postala v letu 1618, takrat so jo obnovili v renesančnem slogu in ob severno stran ladje prizidali 2,8 metra široko kapelo svetega Florjana. Od kamnite gotske cerkve z lesenim zvonikom je ostal samo še prezbiterij, današnja zimska kapela, ki je posvečena Mariji Brezmadežni. Sedanjo cerkveno stavbo so pozidali po načrtih arhitekta Josipa Vancaša v neobaročnem slogu v letih 1910 in 1911, zvonik in južna fasada prečne ladje pa sta bila pozidana približno deset let kasneje.
Prenovljeno cerkev sv. Petra je posvetil škof Anton Bonaventura Jeglič 29. oktobra 1911. Sedanja cerkev je orientirana v smeri proti severu. Predstavljata jo pravokotna ladja, ki ima na vzhodnem delu prizidano kapelo, nekdanji prezbiterij, ter enako visok, vendar ožji prezbiterij z zvonikom na zahodnem delu in zakristijo na vzhodnem. Fasada, ki je v neobaročnem slogu, je bogato členjena. Notranjost cerkve je triladijska, s prečno ladjo, ki pa je nakazana samo v tlorisu. Celotna cerkev je obokana, osvetljuje jo 15 barvnih oken. Kapelo odlikuje gotski rebrasti zvezdasti obok. Glavni oltar je baročno delo, v manjši meri je bil predelan v obdobju neobaroka. Preostanek cerkvene opreme je večinoma neobaročnega izvora s posameznimi baročnimi plastikami.
Največjo posebnost cerkve predstavlja glavni oltar s svetim Petrom. Ta je upodobljen kot na prestolu sedeči papež s papeško tiaro na glavi. Takšno krono je zadnji nosil papež Pavel VI. Na koru so čudovite orgle iz leta 1938, ki so delo Franca Jenka.