L'occupation du piton rocheux remonte très loin dans l'histoire. Le château est signalé trois siècles après J.C. dans les archives romaines. C'est un relais sur la Via Agrippa entre Orange et Vaison la Romaine. On a peu de repères historiques de l'époque Gallo-Romaine. On retrouve de nombreux témoignages à partir de 1115 et l'on sait que de nombreux seigneurs successifs s'en partagent alors la propriété. Les Papes le choisissent même pour y rendre la justive entre 1309 et 1378. Sa situation aux limites du Dauphiné et du Comtat Venaissin, le rend stratégique. D'ailleurs, il va beaucoup souffrir pendant les guerres de religion et le baron des Adrets (François de Beaumont) Huguenot fut l'artisan de sa perte. Seule subsiste de nos jours une puissante tour du XIème. Le château a été restauré, notamment à la fin du règne de Louis XIV, puis de nouveau menacé au début des années  1940 après la mort du dernier Marquis d'Acquéria. Il fut racheté par Monsieur Galibert qui contribua largement à sa restauration (1944). Il est aujourd'hui la propriété d'une société immobilière.

Au pied de l'église paroissiale, reconstruite en 1877, on découvre le beffroi de la première maison commune et les parties des vieux remparts.