O nejstarší podobě hradu vybudovaného na ostrohu nad přechodem trstenické cesty přes řeku Svitavu nevíme nic. Hrad je poprvé doložen teprve v r. 1360, ačkoliv se již v 1. 1250 – 1274 připomíná Heřman z Letovic a v r. 1316 Stanimír z Letovic, což by předpokládalo existenci hradu již v druhé polovině 13. století. Poté se stali držiteli Letovic páni z Přibyslavi, které ještě ve 14. století vystřídal rod Ronovců.
Kolem r. 1400 byl na zdejším hradě přeložen do češtiny známý cestopis Marka Pola Milión. Překlad, v němž jsou zřetelné některé moravismy, je dnes uložen v knihovně Národního muzea v Praze. Na počátku 15. století držel hrad přívrženec císaře Zikmunda Hynek z Ronova. Proto husité v r. 1424 hrad oblehli, dobyli a zničili.
Po Hynkově smrti bylo panství rozděleno mezi jeho dcery na dvě části, které získali postupně páni z Boskovic. Z nich s oblibou v Letovicích přebýval vzdělaný Ladislav z Boskovic, který zde také v r. 1520 zemřel. V druhé polovině 15. století byl letovický hrad obnoven. O jeho pozdně gotické přestavbě svědčí několik sklepních místností s jednoduchým portálem; pozdně gotická je snad i část vnější obvodové zdi zámeckých budov.
Syn Ladislava z Boskovic Kryštof z Boskovic postoupil v r. 1544 hrad a městečko Letovice, Třebětín, Slatinku, Vanovice, Zboněk, Zábludov, díl Vranové, Radiměře a Lazinova hraběti Kryštofu z Hardeku. Hardekové počali šířit v Letovicích luterství; založili zde luterskou školu a městečko poněmčovali. Jejich náhrobky jsou ve farním kostele v Letovicích.
Za Hanuše Fridricha z Hardeku v druhé polovině 16. století byly provedeny úpravy hradního interiéru a jeho opevnění, hlavně na severní straně. Panství pak získal v r. 1614 sňatkem s Reginou Juliánou z Hardeku hrabě Jindřich Václav Thurn, jenž dovedl proplout úskalím pobělohorských konfiskací a podporoval Letovické v odporu k protireformaci.
V r. 1643 dobyli hrad Švédově. Na konci 17. století přestavěl Štěpán Szelepcsényi jádro sídla v raně barokní zámek. Po četných změnách držitelů panství získali v r. 1724 Letovice Blümegenové, kteří povznesli město po stránce hospodářské. V r. 1724 zámek s městečkem vyhořel. Po požáru pak úpravy pokračovaly, především v zámeckých interiérech, stejně jako výstavba hospodářských a úřednických budova východně od zámku, jak hlásá letopočet 1730 na bráně předzámčí.
V r. 1820 se stává majitelem panství a zámku maďarská rodina Kálnoky z Köröspatak, za niž stavební činnost ožívá znovu. Stavbou koníren, letní a zimní jízdárny a arkádami na terase a úpravou středověké věže získal zámek nynější vzhled. Z rodiny Králnokyů vynikl Gustav Kálnoky († 1898 v Letovicích), nejprve rakouský velvyslanec v Petrohradě a v 1. 1881 – 1895 rakouský ministr zahraničí. V rodině Kálnokyů působil v Letovicích jako vychovatel český archeolog a básník Jan Erazim Vocel (1803 – 1871). Kálnokyové vlastnili panství až do r. 1945.
Zámecký park
Na jižním svahu zámeckého vrchu se rozprostírá rozsáhlý zámecký park. Jako významný krajinářský prvek se svými 26 ha celkové rozlohy byl vyhlášen chráněným územím. Krajinářskou úpravou, výsadbou vzácných dřevin a malebností svých zákoutí se řadí k nejcennějším zámeckým parkům u nás.
Několik foto devastace zámku