Le château du Casse a des origines qui remontent au XIVe siècle. En 1344 Raymond du Casse possède déjà des terres à Latresne et quelques années plus tard le domaine du Casse est cité comme appartenant à Béatrix du Casse.
Il est bien difficile aujourd’hui de retrouver des traces de cette époque dans le château actuel en grande partie reconstruit au début du XIXe siècle. Quelques détails du XVe ou XVIIe siècle sont encore visibles comme la tour coiffée d’un toit en poivrière dans le parc et les restes de sa jumelle visible rue du bourg.
Le château du Casse est idéalement placé sur le versant de la pente exposé au Sud. Il domine le débouché de la Pimpine et est implanté en bordure d’une route importante permettant de pénétrer dans la vallée et de rejoindre le vieux bourg.
Le marquis de Castelnaud d'Essenault, propriétaire du domaine à la fin du XIXe siècle, était un ami de Léo Drouyn, le célèbre historien/archéologue girondin.