Après la prise de Royan et la destruction de son château (situé sur le port) par le roi Louis XIII, en 1622, les Royannais avaient interdiction de reconstruire tout élément de fortification. Dès le milieu du 18e siècle, le caractère stratégique de l'embouchure de la Gironde pousse toutefois les autorités militaires, et notamment le gouverneur de Saintonge, le maréchal de Senectere, seigneur de Didonne et futur marquis de Royan, à envisager la défense de la côte par un système de batteries. L'une d'elles est établie en 1757 sur la pointe du Chay ou "de Guette-Lamy", en vis-à-vis d'une autre placée à la pointe de Grave. En 1772, on envisage d'y construire un véritable fort, barrant l'entrée de la Gironde avec un autre fort projeté à la pointe du Verdon. Une carte de l'embouchure de la Gironde établie à cette date montre que le dispositif comprend aussi des redoutes de part et d'autre de la conche de Pontaillac, et qu'une redoute plus importante est envisagée entre le Pigeonnier et les Brandes.

De nouveaux aménagements défensifs sont réalisés sous l'Empire, à la suite d'une bataille qui, en 1811, a montré la vulnérabilité de l'embouchure de la Gironde face à l'ennemi anglais. En 1811-1812, sur ordre de Napoléon, un véritable fort est construit sur la pointe du Chay. Protégé par des bastions étoilés, il apparaît comme tel sur le plan cadastral de 1838. Entre temps, en avril 1814, le fort a été pillé par les habitants et pris par les Anglais, victorieux de Napoléon.

Sous le Second Empire, le site suscite de nouveau l'intérêt. Dans les années 1860, les talus du fort sont agrandis et une caserne est construite. En 1875-1877, comme à la pointe de Suzac notamment, une nouvelle batterie est installée, prenant en compte les évolutions de l'artillerie. Le fort apparaît encore sur une vue aérienne en 1920 : l'espace fortifié est partagé en deux par un système fossoyé ; la partie la plus proche de la falaise contient huit postes d'artillerie, en avant d'un terre-plein. En arrière, du côté terre, les bastions en étoile déjà visibles sur le plan de 1838 sont encore en place.

Le site est profondément remanié après que les troupes allemandes d'occupation s'en soient emparé en 1940. Le fort est intégré au système de défense allemand et forme un verrou sur l'embouchure de la Gironde avec les fortifications de la pointe de Grave. La batterie comprend trois pièces de 75 mm et six pièces antiaériennes. Les anciennes installations sont remplacées par des blockhaus. Le fort accueille 80 artilleurs de marine et 150 soldats. Imposant, ce système défensif est presque entièrement détruit lors des bombardements de 1945. Il n'en reste plus que quelques blockhaus. Ouvert à la circulation des promeneurs, le site est en partie réinvesti dans les années 1980 par des résidences.