Het Kasteel werd gebouwd door de Spaanse edelman don Pedro Coloma en behoorde toe aan de rechterhand van Willem van Oranje: Heer van Sainte Aldegonde Filip de Marnix.
In de volksmond heet het echter simpelweg het Kasteel Van Bornem.
In de 19de eeuw kreeg het kasteel een fikse make-over. Architect Hendrik Beyaert renoveerde het met respect voor de authentieke elementen en de proporties van het gebouw.
Het kasteel beschikt over een prachtige collectie van 18de-eeuws meubilair. Ook gravures van Pieter Breughel de Oude, verfijnde kantstukken én een kamer met antieke poppen behoort tot de expositie.
