La información más antigua sobre la construcción del castillo en la ciudad de Brody se remonta a la década de 1580. El hetman de la corona (en polaco: Hetman polny koronny), Stanisław Koniecpolski, adquirió Brody en 1629 y construyó el bastión del castillo, de un nuevo tipo, entre 1630 y 1635 bajo la supervisión del arquitecto italiano Andrea del Aqua, basándose en un diseño de Guillaume Le Vasseur de Beauplan.
El castillo tenía planta pentagonal e incluía cinco bastiones y murallas, con mazmorras octogonales en el centro. Estaba rodeado por un profundo foso. El castillo contaba con un total de 75 casamatas, que se utilizaban como cuarteles y almacenes. El gobernador residía en una casa de madera dentro del recinto del castillo. Esta casa, así como una capilla de madera, se conservaron hasta mediados del siglo XVIII.
El castillo y la fortaleza resistieron un asedio de tropas kozakas que duró varias semanas durante el levantamiento de Jmelnytsky en 1648. Durante la batalla de Berestechko (1651), la fortaleza sirvió como base militar polaca. Allí fueron retenidos los kozakos cautivos.
A finales de la década de 1660 el castillo fue renovado, lo que permitió a los lugareños refugiarse allí durante las incursiones turcas de 1672 y 1676. El castillo fue adquirido en 1704 por la familia Potocki. El conde Potocki lo reconstruyó en estilo rococó para convertirlo en su residencia.
En 1772, tras el Primer Reparto de Polonia, la ciudad de Brody fue anexionada por Austria. Las fuerzas rusas devastaron Brody durante la Guerra de Sucesión Polaca. Por orden de la administración austriaca, Wincenty Potocki demolió la mayor parte de las fortificaciones restantes en 1812: el revellín, la torre del reloj y dos bastiones del lado de la ciudad; el foso fue rellenado.
Tras la Segunda Guerra Mundial el castillo albergó una unidad militar y, en aquel entonces, sufrió graves daños debido a las obras de reconstrucción. La unidad militar abandonó la fortaleza recién en la década de 1990. Posteriormente, las instalaciones del palacio fueron transferidas a la escuela local; también alberga el archivo regional y las salas de exposiciones del Museo de Historia Local de Brody. Las mazmorras del castillo siguen en ruinas y sin uso, por tener daños considerables. La única estructura que se conserva es el palacio de dos plantas de Stanislaw Potocki (1753-1805), que ha sido reconstruido en numerosas ocasiones. Cabe mencionar que antiguamente había un hermoso parque frente al castillo. Antes de la guerra, la familia Serwański desempeñó un papel fundamental en la gestión y el mantenimiento del parque, convirtiéndose no solo en guardianes de su riqueza natural, sino también en defensores de la armonía entre el hombre y la naturaleza.
