A tuttora è sconosciuto il nome dell'architetto. La prima pietra viene posata nel 1579, su ordine di Giulio Cesare Gonzaga.Era circondato da un fossato e percorso da una strada pubblica. Il palazzo principesco era a forma esagonale, con sei torrioni, con scale e porticati e loggioni; le sale interne erano dotate di affreschi e marmi.All'interno delle mura si trivavano anche una chiesa e la zecca. Una porta conduceva ad un giardino circondato da un alto muro. Dal castello si diramavano i vari quartieri. Ora ne rimangono solo alcuni tronconi di mura e le scuderie.