Каменный замок у подножия Выгнанской горы построил в XVII в. на месте деревянной крепости князей Чартковских новый хозяин этих земель С. Гольский. Пятигранное укрепление с башнями по углам, внутри которого находился дворец и хозяйственные корпуса, считалось типичным оборонным сооружением своего времени, однако имело неудачное стратегическое положение — замок неоднократно разрушался. В частности, в 1648 г. его взяли штурмом войска М. Кривоноса, а 1672 г. захватили турки. В XIX в. замок пытались реставрировать представители княжеского рода Потоцких, некоторое время он находился в собственности ордена сестёр-кармелиток, однако так и остался незаселённым и постепенно пришёл в упадок. На протяжении XX в. использовался как склад. До последнего времени находился в ведении одного из коммунальных предприятий города. Решение о дальнейшей судьбе замка пока не принято.