La seigneurie de Lavérune fut la propriété de la riche famille franque des Frédol jusqu'en 1356. Béranger de Frédol, cardinal et conseiller du pape, puis Béranger le jeune y firent construire la 1ère demeure seigneuriale au XIV siècle.
Les Pelet d'Alais leur succédèrent puis, en 1606, le château devint la propriété de seigneurs protestants, les Coursac de Grémian. Daniel de Gallières peuple le parc d'arbres de haute futaie.
A partir de 1692, la seigneurie passe aux mains des évêques qui en font leur résidence d'été. Le plus notable d'entre eux fut Joachim Colbert de Croissy, neveu du grand Colbert qui y vécut près de 40 ans et qui fit édifier, sur l'emplacement de la demeure seigneuriale, le château tel qu'il se présente actuellement. Le parc est aménagé : captation des sources et édification d'un réseau hydraulique alimentant des bassins et un grand vivier, jardin à la française, orangerie.
Vendu comme bien national à la Révolution, il est acheté en 1792 par M Brunet qui fit planter dans le parc des essences exotiques (magnolia, tulipier de Virginie, cyprès chauve...) .
Château et parc, inscrits à l'inventaire supplémentaire des monuments historiques, sont la propriété de la commune depuis 1972.
Le salon de musique, dit « à l'italienne », édifié dans la 2ème moitié du XVIIIème siècle, classé monument historique, est le joyau de cet ensemble architectural. Ses murs sont ornés de fines gypseries représentant des instruments de musique, des angelots, des trophées de chasse et autres sujets à la mode sous Louis XV. Surplombant d'immenses fenêtres ouvertes sur le parc, une balustrade de fer forgé court le long d'une étroite galerie suspendue. Récemment restauré, il accueille des concerts et des expositions toute l'année, et peut se visiter lors des Journées du patrimoine et de différents animations festives.
La cuisine, la salle à manger et la chapelle, restaurées, font désormais partie de la médiathèque Jean de la Fontaine.
