Parfois appelé château des Evêques fut successivement la propriété de Seigneurs importants qui l’ont remanié au XIV siècleBeranger de Fredol cardinal et conseiller du Pape puis Béranger le jeune.
Les Pelet de Lavérune leur succederent mais en 1606 sans héritier le château devient la propriété de Seigneurs protestants : Courac de Grenian.
En 1622 Louis XIII y installe son poste de commandement.
Daniel de Gallieres agrandit son domaine et aménage le parc.
A partir de 1699 la seigneurie passe entre les mains des évêques dont le plus notable fut Joachim Colbert de Croissy qui y vécu 40 ans, neveu du grand Colbert et dont on peut voir les armes dans les plaques de cheminées du château.
Jardin à la française, grand vivier, réseau hydraulique alimentant les bassins, le parc est magnifique.
A la révolution , le château est vendu comme bien national, il est acheté en 1792 par M.Brunet, qui plante une pépiniere d’arbres exotiques ( magnolias, cyprés chauve de la Tourtouliere ,etc…)

A voir notamment :
Au rez–de-chaussée le salon de musique classé monument historique orné de magnifiques gypseries italiennes que l’on peut voir lors d’expositions de peinture ou de concerts.

Au 1e étage , auquel on accede par un grand escalier avec une rampe en ferforgé , le musée Hofer Bury , musée de peinture contemporaine.

Autour du château :
le parc inscrit à l’inventaire des monuments historiques, ouvert en permanence aux piétons , un des plus beaux parc du midi de la France.