1545 begann Clamor von Münchhausen in Brokeloh mit dem Bau einer Wasserburg im Stil der Weserrenaissance. Sein Sohn vollendete das Gebäude um 1600 als Vier-Flügelanlage. Es war früher von einem doppelten Wassergraben umgeben und hat ein massives Sockelgeschoss. Auf drei Seiten gibt es ein Obergeschoss aus Fachwerk; im rückwärtigen, nur einstöckigen Flügel befindet sich der Rittersaal.
Mitte des 19. Jahrhunderts war das Castrum derart baufällig geworden, dass man seinen Abbruch erwog. Dank der Initiative des damaligen Eigentümers, des Geheimen Kriegsrats Friedrich August Wilhelm Niemeyer, der zu diesem Zweck einen besonderen Baufonds angesammelt hatte, erfolgte 1871-1875 jedoch eine gründliche Wiederherstellung. Der Gutshof, wie die zum Gut gehörenden Tagelöhnerhäuser, stehen heute unter Ensemble-Denkmalschutz.