L'aspetto attuale del castello fu voluto da Beatrice Farnese e dal genero Sforza Marescotti che nel 1531 iniziarono i lavori di restauro della rocca precedente. Il progetto viene attribuito ad Antonio da Sangallo il Giovane.
La rocca medievale da cui è stato ricavato il castello è originaria del IX secolo, ad opera dei Benedettini ma subì varie distruzioni nel corso dei secoli.
Il castello presenta quattro bastioni angolari e un profondo fossato.
Nel 1611 venne realizzato il giardino per volontà di Ottavia Orsini. È situato ad est del palazzo , e si compone di un "giardino di verdure" su uno spazio pianeggiante rettangolare conservato ancora oggi. È formato da dodici parterre contornati da siepi miste di viburno, lauroceraso, alloro, bosso con all'interno altre siepi di bosso che formano alcuni disegni, quelle centrali riportano le iniziali di Ottavia Orsini e dei figli Sforza, Vicino e Galeazzo. Ai vertici dei parterre spiccano delle piante di limone contenute in antichi vasi di terracotta. Al centro è collocata una peschiera contornata da balaustra.
Questo è un esempio di giardino ben conservato dalla famiglia Marescotti Ruspoli.
Facevano parte del complesso anche il giardino segreto posto a un livello più basso, mentre sul lato sud vi erano il barchetto e il barco usati per le battute di caccia.