Aujourd’hui, le château de Lavaissière est une construction en grande partie datée du XVIIIe siècle mais implantée sur le site d’une demeure plus ancienne, probablement construite au XVIe siècle. Remanié au fil des siècles, le château a longtemps été la demeure de la plus ancienne famille de la commune, les "de Mallet" descendant des "de Lavaissière", jusqu’à la vente aux actuels propriétaires.
De cette demeure primitive il reste une tour à l’ouest de la propriété dont le toit pointu évoque l’architecture du Périgord, à l’instar de la tour du moulin de Loubens. Cette influence peut s’expliquer par le lien indéniable de la région avec la Dordogne. Le ruisseau du Dropt prend d’ailleurs sa source à Capdrot en Dordogne.
Cette tour isolée abrite actuellement une chapelle. À une époque plus reculée, elle devait être reliée au reste des bâtiments pas des murailles.