Opevnění města bylo založeno v letech 1310-1350. Tvořila jej kamenná hradba silná zhruba metr a vysoká čtyři metry o celkové délce přibližně 1,5 km. Před hradbou se pak nacházel příkop čtyři metry hluboký a 12 m široký, který v pozdější době zcela zanikl. Součástí hradby byly čtyři bašty a dvě brány. Kolem roku 1472 došlo k zesílení obranného systému výstavbou parkánové hradby s baštami  mezi již existující hradbou a příkopem. I přesto hradby za třicetileté války podlehly útokům a byly pobořeny Švédy. V průběhu 18 a 19. století s rozvojem města zanikla téměř veškerá západní a severní část hradeb, stejně tak obě brány a drtivá většina bašt. Do dnešní doby se zachoval jižní a jihozápadní část úseku (převážně parkánová hradba s dochovanou baštou) a pak východní část při rozsáhlém parku (hlavní hradba s dochovanou baštou zvanou Štáflova).

Historie kláštera spadá až do 11. století, kdy sem přišel zbožný muž Prokop, později prohlášený za jednoho z českých patronů. Ten zde žil jako poustevník a podle pověsti se zde setkal s knížetem Oldřichem, jemuž podal trochu vody, než se však Oldřich stačil napít, voda se změnila ve víno. Z vděčnosti pak kníže Oldřich zde nechal založit klášter a z Prokopa učinil opata. Nastalo složité období kdy na území Čech v církevních záležitostech soupeřili zastánci latinské a slovanské liturgie. Zmatek v Sázavském klášteře vyvrcholil vyhnáním zdejších mnichů. Za Vratislava II. se vyhnaní řeholníci vrátili zpět. V roce 1095 se dočkal právě dokončený konventní chrám za účasti pražského biskupa Kosmy vysvěcení. V roce 1315 položil tehdejší opat Matyáš základní kámen k nové budově v nejsevernější části areálu. Husitské války se Sázavského kláštera velmi dotkly. V roce 1421 byly zdejší řeholníci vyhnáni a klášter přestal být církevním majetkem. Dostal se do majetku pánů z Kunštátu od nich je pak získal rod Slavatů z Chlumu. V roce 1547 se stává majetkem královské správy za účast Diviše Slavaty v odboji proti Ferdinandovi I. V roce 1551 poškodil klášter požár a začaly krušné časy. Dokonce byl  klášter rozebírán na stavební materiál. Od roku 1558 vlastnili zdejší statky Valdštejnové, samotný areál kláštera se stal majetkem rodu Švihovských z Risenberka. V roce 1611 získal Sázavu od císaře Rudolfa II. Adam z Valdštejna. V roce 1663 vykupuje Augustin Seifert, opat v Broumově klášter od Valdštejnů a započíná se stavebními pracemi. Proběhly rozsáhlé rekonstrukce a řeholníci tak opět získali prostor pro bydlení a konání obřadů. V roce 1746 postihl klášter rozsáhlý požár. Po něm probíhají stavební úpravy, při kterých získává klášter barokní prvky. V roce 1785 zanikl v rámci rušení klášterů na celém našem území i zdejší konvent a budovy i statky přešly do správy Náboženského fondu. V roce 1809 získává zdejší objekt do svého vlastnictví Vilém Tiegl a v jeho majetku zůstal až do roku 1869. V roce 1951 převzal klášter stát a roku 1962 byl vyhlášen kulturní památkou.Do klášterního komplexu vstupujeme jižní bránou jejíž podoba je z 50. let 20. století. Kdysi zde stávala gotická budova. Po pravé straně se nachází zámek na místě bývalé klauzury (obydlí mnichů). Klauzura byla v 19. století výrazně přestavěna na dnešní zámek. Stavba svými čtyřmi křídly uzavírá tzv. rajský dvůr se středověkou studnou. V budově zámku se nachází barokní refektář, gotická místnost mnichů a kapitulní síň z doby kolem roku 1340, jejíž klenbu podpírá sloup se zvířecími postavami. Stěny kapitulní síně zdobí mariánské fresky nazvané Zvěstování, Zasnoubení, Narození, Klanění, Panna Marie v naději, Madona, Panna Marie Ochranitelka, Infantia Christi a známá Sázavská Madona. Na zámek navazuje kostel Panny Marie, sv. Jana Křtitele a sv. Prokopa. Realizovaný v letech 1663-87. Hlavní oltář zdobí sochy sv. Václava, sv. Vojtěcha a sv. Jana Křtitele. V oltářní části chóru se nachází rokokový relikviářový oltář se skleněnou rakvičkou z roku 1669, která slouží jako schránka pro prokopské relikvie: kalich, dřevěnou lžíci a část Prokopovy ramenní kosti. V severní části chóru se nachází oltář sv. Prokopa z roku 1756. Vyobrazení Prokopa je ale výrazně starší. O této malbě se říkalo, že na ni Prokop zavírá oči a dokonce mění výraz tváře. Tyto zázraky prý vidělo mnoho svědků a v roce 1711 se celou věcí zabývala i zvláštní komise, jež zázračné jevy potvrdila. V samém středu chóru se nachází vstup do kostelní krypty. Její vznik se datuje do 13. století. Je tak nejstarší částí celé stavby. Mezi kostelem a zámkem se nachází gotická kaple Panny Marie. Místnost překlenují dvě pole křížové klenby. Hruškovitá žebra navazují na kružbové konzoly, z nichž některé mají tvar lidské tváře. Před průčelím kostela při pravé straně se nachází nedostavěný konventní chrám, budovaný od konce 13. století do začátku 15. století. Původně tu měla vyrůst pozdně románská bazilika, později byly plány změněny na gotické síňové trojlodí. Dnes zde stojí jen torzo jižní lodi a jedna ze dvou zamýšlených věží. Vlevo pak můžeme vstupit do severní zahrady. V těchto místech původně přebývali lidé, kteří obstarávali všední potřeby kláštera. Dnes zde najdeme základy kostela sv. Kříže vysvěceného v roce 1070. Dále pak zbytky zemnice, paláce přeměného v husitských dobách na hospodářskou budovu a psudogotický altán.

Hřbitovní kostel Panny Marie se nachází při ulici Dlouhoveská a Nuželická. Založen v první polovině 14. století. V průběhu 15. století proběhla přestavba při níž byla vystavěna Kabátovská kaple. Do dnešní podoby byl kostel upraven v roce 1591. Kabátovská kaple se dochovala do dnešní doby v původním stavu s hvězdicovou klenbou. Oltář je barokní z 18. století, jinak vnitřní výzdoba pochází většinou z doby poslední úpravy na konci 16. století. V kostelní zdi jsou zasazeny náhrobní kameny původně se nacházející v dalžbě kostela a jsou z doby po roce 1500.

Zajímavý pískovcový útvar se nachází na modré turistické značce mezi Pokličkami a Mšenem, západním směrem od tohoto města.