Lafite est mentionné comme maison noble dès le 14e siècle. Selon Jacques Gardelle, le chapitre cathédral de Bordeaux, suzerain du lieu, autorisa son seigneur à la munir de fossés et d'un pont-levis en 1662.
En 1715, Alexandre de Ségur achète le domaine de Lafite et le transmet à son fils, Nicolas Alexandre de Ségur (1697-1755), le célèbre "prince des vignes". A sa mort, le domaine comprend des parterres et des terrasses ainsi que des jardins ; les terres sont réparties en vignes, en terres labourables, en vimières, des marais, un moulin à vent, des prairies et des bois de haute futaie ; la maison noble et tout ce que renferme la pré-clôture sont évalués à 50 000 livres. Tous les autres fonds sont estimés à 657 100 livres.
En 1786, Nicolas Pierre de Pichard, chevalier, conseiller du Roi en ses conseils, président à mortier au Parlement de Guyenne, acquiert le domaine pour la somme de 960 000 livres. Guillotiné le 30 juin 1794, ses biens sont confisqués au profit de la Nation en vertu de la loi du 2 septembre 1792. Le 26 messidor an IV (14 juillet 1796), le domaine de Lafite qui comprend 166 journaux de vigne, 52 de prairies et 66 de marais est adjugé à M. Rozier, négociant à Paris. Mais la vente est annulée et, le 12 septembre 1797, Jean de Witt, ministre de la République batave à Paris, s'en porte finalement acquéreur pour plus de 2 millions de livres ; puis sont mentionnés comme propriétaires successifs, un hollandais, M. Vanlerberghes, puis un banquier anglais, Samuel Scott, en 1821. En 1867, James de Rothschild achète le domaine 4 149 000 francs. Il est encore aux mains de cette famille aujourd'hui. Les bâtiments les plus anciens conservés semblent être la demeure avec ses tours, datant peut-être du 17e siècle. La comparaison entre un plan de 1801 et le plan cadastral de 1825 permet de voir les bâtiments existant à cette époque : la demeure présente à peu près la même forme, excepté dans la partie sud. Des bâtiments annexes se trouvaient à l'ouest mais étaient disjoints alors qu'ils forment un alignement plus régulier sur le plan de 1825. Ces bâtiments ont été définitivement réunis avant 1868 avec l'ajout d'une travée formant pignon que l'on aperçoit sur la photo de Stoerk prise à cette époque.