Il castello viene fatto costruire dagli Scaligeri nel XII- XII secolo, anche se successivamente diviene fondamentale per la sua importanza strategica anche per i signori di Mantova. Difeso da una forte cinta muraria e da 10 torri, era diviso in due parti: quella verso il lago, che era affidato solo al castellano, e quella verso nord, che era affidato a un capitano, data la necessità di difendere il ponte levatoio di ingresso al castello e al borgo. Ora del castello rimangono le mura, 4 torri, alcune parti del camminamento di ronda e due case di epoca medievale. Nel 1600 viene ceduto dalla Serenissima ai conti Arrighi e diviene dimora residenziale.