La caserne ou bureau des douanes a donné son nom au quartier balnéaire du Bureau. Jusque dans la seconde moitié du 19e siècle, elle était la seule construction présente entre la pointe rocheuse et l'ancienne église de Saint-Palais.

Les cartes de la région établies au début du 18e siècle par l'ingénieur Claude Masse, ne mentionnent aucun bâtiment à cet endroit, juste, un peu en arrière, un petit bois servant de repère pour la navigation. Le premier bureau aurait été construit en 1729 pour abriter et loger les commis de la Ferme générale, une administration chargée depuis 1726 de collecter les impôts pour le roi. Ce bureau, dont la blancheur des murs aurait aussi servi de repère pour les navigateurs, apparaît sur la carte de Cassini et sur la carte de Belleyme, dans la seconde moitié du 18e siècle. Dès cette époque, les commis de la Ferme utilise le sentier qui longe le littoral, encore appelé de nos jours "chemin des Douaniers", pour vérifier les allers et venues des bateaux et, le cas échéant, prélever l'octroi sur les marchandises.

Pendant la guerre de Sept ans (1756-1763) qui met aux prises le roi de France et l'ennemi anglais, maître des mers, la côte de la Gironde est fortifiée et des redoutes (surélévations destinées à recevoir une poudrière et un poste de tir) sont dressées de part et d'autre des conches de Nauzan et de Saint-Palais. Une carte de l'embouchure de la Gironde en 1772 les montre, notamment celle située sur la pointe ouest de la conche de Saint-Palais. Cette redoute est visible sur un autre plan établi dès 1768 par M. de Kearnay, ingénieur, qui propose d'établir à ses pieds un petit port à chaloupes, en creusant dans le rocher. La redoute y figure sous la forme d'un rectangle constitué de monticules de terre, en limite du chemin des Douaniers. En 1771, l'administration royale envisage d'acheter le petit bois situé en arrière de la redoute et du bureau de la Ferme, pour mieux contrôler ce repère utile à la navigation. Le maréchal de Senecterre, marquis de Royan et propriétaire du bois, s'y oppose toutefois. En 1778, il est encore question du bureau de la Ferme, bâtiment proche de la redoute, susceptible de recevoir la poudrière et un corps de garde pour la milice de la capitainerie de Royan, chargée de surveiller militairement la côte.

A la Révolution, la Ferme générale devient l'administration des douanes, et le bureau de la ferme devient le bureau des douanes. "Le Bureau", toujours esseulé sur la pointe à l'ouest de la conche à laquelle il a donné son nom, apparaît comme tel sur une carte de l'embouchure de la Gironde en 1812-1813, avec toujours, en arrière, le bois, repère pour la navigation, appelé "bois de Saint-Palais". Le bureau et le bois, appele "le bois du Roi", figurent encore sur le plan cadastral de 1839. Quant à la redoute établie vers 1760, elle n'est plus mentionnée sur aucun des deux plans. Le bâtiment des douanes a dû être reconstruit vers la fin du 19e siècle pour prendre son aspect actuel.