Starou tvrz z 15. století nechal v roce 1653 přestavět na zámek hrabě Ferdinand František z Vrtby. V letech 1731 a 1746 však zámek vyhořel a po posledním požáru hrabě s rodinou přesídlil do Vrchotových Janovic a Chotýšan. V zámku pak hrabě nechal zřídit byty pro panské úřednictvo a do části vedle kostela přesunul pivovar, který původně stával ve dvoře. V přízemí zámku kdysi bývala také panská šatlava.

Obě zámecké budovy mají renesanční štíty z 16. století, které přečkaly i velké požáry. Ve zdi zámku je zasazena pamětní deska věnovaná Kašparu Kaplíři ze Sulevic, bývalému majiteli votického panství, který byl 21. června 1621 popraven společně s dalšími českými pány na Staroměstském náměstí.

Nyní je zámek v soukromém vlastnictví, veřejnosti nepřístupný.

Fotografie z votické kroniky:
Starý zámek před rokem 1921