Majitelé koryčanského panství od středověku sídlili na hradě Cimburk, který ležel v kopcích daleko za městem a tak postupně přestal šlechtě vyhovovat, jelikož začala požadovat pohodlnější podmínky k životu. Z tohoto důvodu začala Anna Bánffy s výstavbou tvrze se dvorem, ale hradu Cimburk zůstala jeho funkce coby správního střediska a v případě nebezpečí se sem přesunoval dvůr z Koryčan, což bylo velice aktuální v průběhu třicetileté války. Nové sídlo na kopci za farou bylo dobudováno kolem roku 1603 a o 30 let později k tvrzi byla přistavěna kaple. Pro své větší rozměry byla tvrz nazývána v 17. století zámkem i proto, že již byla sídlem cimburského panství, ale i tato budova přestala čím dál více náročnější šlechtě stačit. Proto dal po roce 1677 František Gabriel Horecký vybudovat na jejím místě barokní zámek, skládající se ze dvou křídel.​