Le magasin aux vivres, appelé également magasin aux subsistances, de l'arsenal de Rochefort est construit entre 1671 et 1676 sur les plans de l'architecte François Le Vau. Le projet prévoit au départ une façade nord-est beaucoup plus longue, mais la partie nord n'est réalisée que quelques années plus tard, entre 1682 et 1688, pour abriter un hôpital pour la Marine. Les deux édifices sont orientés sur le chenal par lequel arrivent les bateaux chargés des denrées à destination des équipages des navires de la Marine.

Cet établissement sert à stocker et à préparer la nourriture des équipages de la Marine royale. L'aile sud du bâtiments abrite la boulangerie - comprenant des magasins à blé et à farine, une panneterie, des soutes à biscuits, une salle de distribution -, celle de l'ouest est dédiée aux salaisons, le pavillon nord-ouest abrite des logements pour les officiers, le pavillon nord-est d'autres logements d'officiers, et l'aile est un dépôt de bois et de futailles. De grandes caves sont aménagées, une pour les salaisons, une pour les huiles et quatre pour les vins.

Au fil du temps, des réaménagements sont réalisés. Un magasin de sel est par exemple construit du côté nord de la cour en 1779. Un abattoir, abrité à l'origine dans le magasin, est installé de l'autre côté du chenal en 1782. Quelques années plus tard, après la construction d'un nouvel hôpital, le bâtiment adjacent du côté nord devient une caserne, appelée "Charente". La façade orientée sur le quai, à droite du portail d'entrée, est surélevée d'un étage en 1821. La façade sur cour de l'aile ouest est dotée d'un avant-corps central au cours du 19e siècle. Un bâtiment pour abriter une machine motrice à vapeur est construit entre 1882 et 1888.

C'est ici qu'est établi en 1834, pour la fabrication des biscuits de mer, le premier pétrin mécanique, entraîné par un manège de chevaux, associé à une machine à couper le biscuit, inventés par Daniel Aubouin, maître de l'atelier des tours à métaux de l'arsenal.

En 1919, un incendie détruit l'étage de l'aile sud avec les chambres à farine et le moulin de la boulangerie installé en 1864, néanmoins, au rez-de-chaussée, les quatre batteries de fours sont intactes. Des travaux de maintenance et de modernisation sont réalisés au cours du 20e siècle. Après la fermeture de l'arsenal en 1927, le Commissariat de la Marine s'installe dans le magasin.

L'édifice, désaffecté en 1990, est vendu par le ministère de la Défense à la Ville de Rochefort en 2006, qui le rétrocède à un promoteur privé. Des fouilles préventives de l'aile sud sont menées en 2013, avant le début des travaux de transformation en résidence de standing en 2015.