Un texte du 15e siècle rapporte que le comte Raoul d’Exoudun et sa femme Alix, comtesse d’Eu, séjournaient régulièrement sur les terres de Chizé et que, pour le bâtiment de la chasse, il firent bâtir un édifice fortifié. Ce dernier, était construit sur l’emplacement actuel de la motte (élévation de terre), disposant encore par endroits de fossés. Il est situé sur un terrain au centre du bourg et il appartient aujourd’hui à la commune.

Sa datation exacte n’est par définie, mais elle pourrait correspondre à la date proposée pour l’édification d’un premier castrum, autour de l’an 1000.

La butte de terre aménagée (motte) servait de support à un ouvrage défensif. Elle était surmontée d’une tour carrée ou rectangulaire, toute en bois. Dans ses étages inférieurs étaient stockées les réserves de vivres et au dernier étage se situait le logement du seigneur et de sa famille, aménagé avec une plate-forme de guet en bois.

Un fossé, plus ou moins rempli d’eau, doublait une palissade composée de pieux pointus, et une porte unique communiquait avec l’extérieur, souvent à l’aide d’un pont mobile. Une seconde et haute palissade entourait également un terrain, appelé la basse-cour, sur lequel les paysans, placés sous la protection du seigneur, avaient édifiés quelques demeures en torchis et en branchages. Les rues de l’Amitié et des Douves se trouvent probablement sur le tracé du second fossé.

Cette construction a vraisemblablement été abandonnée pendant la période trouble de la guerre de Cent Ans, en raison de l’existence de dispositifs de défenses plus robustes, notamment à Villeneuve-la-Comtesse.