L’attuale sistemazione risale al 1533, quando la famiglia Orsini ricostruì le mura e il palazzo baronale. Le finestre e il portale seguono una tipologia cinquecentesca con arco a tutto sesto, mentre il portico e la loggia risalgono presumibilmente al 17° secolo. L’edificio, costruito sui resti delle antiche mura castellane, ha sfruttato e ampliato lo spazio destinato ad una delle antiche torri di guardia medievali. Con l’arrivo della famiglia Ruspoli subisce ulteriori modifiche sia interne che esterne.

Nel 1760 il cardinale Acciupidi autorizza la realizzazione di un passetto che lo collega alla chiesa di Santa Maria Maggiore, che diviene una vera e propria cappella palatina.