Dějiny renesančního zámku Častolovice sahají až do 13. století, kdy na soutoku řeky Bělé a Kněžny nechal pan Častolov z rodu Hronovců vystavit vodní tvrz. Zámek je obydlen i otevřen pro veřejnost Majitelé tvrze se postupně střídali. Nejvýznamnější z nich byl však Jiří z Poděbrad. Ten také udělil městu znak, zlatou probodenou rybu na modrém poli, který si obec udržela dodnes. V letech 1588-1615 postavil Jan Bedřich z Oppersdorfu a jeho žena Magdaléna na místě vodní tvrze renesanční zámek. V roce 1694 zámek zakoupili Šternberkové, kteří zde v průběhu více než 300 let shromáždili rozsáhlou sbírku obrazů, která je dnes stálou expozici zámku. V polovině 19. století byla část zámku přestavěna v novogotickém slohu a byl založen anglický park. Tento rod však musel zámek v minulosti dvakrát opustit. Poprvé za německé okupace, a podruhé v roce 1948, kdy jim byl veškerý majetek zkonfiskován. Byla zde umístněna internátní škola, čímž zámek značně utrpěl. Majitelé, Leopold Sternberg s rodinou, odjeli do Spojených států. V květnu 1992 byl zámek znovu navrácen paní Diane Phipps Sternbergové, která zde trvale pobývá. Její zásluhou začal zámek opět ožívat, proběhla zde řada úprav. Dnes jsou prakticky všechny jeho prostory znovu zprovozněny. Bývalý internát se proměnil v luxusní penzion. Díky majitelce a bytové architektce paní Sternbergové získal zámek novou dimenzi a řadu stálých návštěvníků, kteří využívají různé sály, salónky a svatební síň. Renesanční skvost Místnosti zámku jsou zařízeny v různých stylech, dávají nám představu o dřívějším zdejším životě. Rytířský sál, jeden z největších v české republice, zdobí malovaný renesanční strop se scénami ze Starého zákona. Stěny jsou pokryty i portréty představitelů šternberského rodu. Součástí sálu je také kaple Božího těla. Její vyřezávaný oltář i fresky byli vyhotoveny už roku 1601. V interiérech lze dále vidět dámský obývací pokoj s luxusním zařízením, reprezentační ložnici, zlatou ložnici, dětský pokoj, kde jsou umístěny hračky z konce 19. a první poloviny 20. století, empírový, biedermeierový, tapetový a kuřácký pokoj. Součástí expozice jsou malby rodů Škrétových, Teniersových, Schonfeldových i portréty českých králů. K zámku patří i anglický park s rybníkem a alejí. Tipy na výlet Navštívit můžete i pozdně renesanční zámek Doudleby nad Orlicí, zámek Potštejn, zříceninu hradu Potštejn nebo Muzeum krajky ve Vamberku. Zavítat můžete třeba na hrad Litice nad Orlicí nebo se rozhlédnout po okolí z rozhledny Kastel u Vrbice. Ve Vamberku také najdete dřevěný krytý most Peklo nad Zdobnicí. Ubytování najdete v Kostelci nad Orlicí.

Socha sv. Jiří je významnou památkou gotického kovolitectví. V roce 1373 jí odlili Jiří a Martin z Kluže. Původně stála v jižní části nádvoří. Socha byla dvakrát poškozena a proto byla v roce 1562 přelita (kůn a drak) kovolijce T. Jarošem. Originál sochy je umístěn v Národní galerii.

Pamětní deska je úctou Jaroslavu Vágnerovi, který byl první obětí bojů s německými okupanty na Pražském hradě v květnu 1945.

Ke špitálu a kostelu Stětí sv. Jana Křtitele se vztahují nejstarší zprávy o městě. Raně gotický kostel byl roku 1421 poškozen a roku 1452 obnoven. Následně byl restaurován po požárech roku 1635, 1742, 1744 a 1813. Na klenbách kostela byly v roce 1845 obnoveny fresky s výjevy ze života Jana Křtitele pocházející z roku 1744. Až do roku 1945 se zde pravidelně konaly špitální poutě, ale v období komunistického režimu stavba rychle zchátrala. Po rekonstrukci v 90. letech 20. století slouží převážně ke koncertům a jiným kulturním účelům. Jednolodní kostel obdélného půdorysu se čtvercovým kněžištěm doposud ve své hmotě obsahuje velkou část původního románského kostela.