Dés le XIIIe siècle les seigneurs de Latresne, qui portaient le titre original de captal, étaient puissants et possédaient un château fort situé vraisemblablement au Castera, au débouché de la Pimpine.
Tenu longtemps par de grandes familles, parmi lesquelles les Grailly et les Foix, la seigneurie passa au milieu du XVIe siècle à une famille de parlementaires, les Le Compte, qui obtinrent au début du XVIIIe siècle le titre de marquis. C’est eux qui construisirent le château actuel, situé en haut de la colline. Il est, pour l’essentiel, du XVIIe siècle, mais a été fortement remanié, notamment au XIXesiècle par le comte de Bonneval.
Le château adopte un plan classique en U, délimitant une cour rectangulaire, dont le quatrième côté était autrefois fermé par une grille. A l’extrémité des deux ailes se dressent deux pavillons carrés à haute toiture d’ardoise.
La façade ouest, tournée vers la Garonne, dispose d’une grande terrasse qui domine le vaste parc agrémenté de plans d’eau et d’arbres de multiples essences. Le château était un centre de formation aéronautique rattaché au Ministère de la Défense depuis 1946. Depuis 2011, il est la propriété du Conseil Régional et abrite l’Aerocampus Aquitaine.