Cette vaste poudrière, bâtie en 1668, fait partie des premiers bâtiments construits pour l'arsenal. Les divers canaux de l'arsenal permettent d'y amener par voie d'eau les tonneaux de poudre en provenance de Saint-Jean-d'Angély (du côté est des bâtiments subsistent les traces d'une écluse isolant le canal de clôture du parc de l'ancien canal de détournement de la Charente). Très vite, la fonction de conservation de poudre est jugée trop dangereuse pour le quartier environnant et elle est remplacée par les poudrières de l'Avant-garde et de la Vieille forme, édifiées entre 1681 et 1687.

Après avoir envisagé un temps de le transformer en église, la marine convertit le magasin à poudre, en 1688, en école pour ses gardes. A cette fin, des fenêtres y sont ouvertes et des salles aménagées (trois au rez-de-chaussée et deux au premier avec une chapelle). Puis, il devient une prison commune à la marine et aux tribunaux civils. Capable de loger 200 détenus, cette prison prend le nom de l'un de ses geôliers, Jean-Baptiste Saint-Maurice. A partir de 1827 est bâtie une prison civile sur un terrain précédemment occupé par un cimetière, près du château d'eau, et la prison Saint-Maurice ne devient plus alors qu'une prison maritime.

Un plan de la ville daté de 1845 montre que les bâtiments d'entrée du côté ouest sont construits - sans doute au début du siècle - et que d'autres s'adossent au mur d'enceinte du côté est.

Durant la Seconde Guerre mondiale, des résistants y sont internés et torturés. Par la suite, l'édifice accueille l'école des mécaniciens de l'aéronautique navale. Il est prolongé vers l'est par un corps de bâtiment moins élevé joignant le mur d'enceinte et des bâtiments remplacent le mur sud.

L'édifice abrite depuis 1973 le Conservatoire de musique et de chorégraphie de la ville.