Le terme « castrum » cité vers 1040 peut désigner une enceinte assez vaste englobant l’église Saint-Georges et longeant au nord le vallon des Arcis. Il n’en reste aucune trace. Le noyau castral apparaît aujourd’hui assis sur une butte de terre en partie artificielle, assise sur un rocher de granit et dégagée par un fossé. Il s’agit manifestement d’une motte. Si le relief disparaît sous les éboulements de pierre au sud, il apparaît encore bien marqué au nord, au-devant de la muraille. De ce côté en effet, le rocher naturel surmonté de remblais sert d’assise à une enceinte de pierre qui se développe et s’élève à l’ouest en formant le mur de fond du logis médiéval. La datation de cette muraille est assez difficile, mais pas antérieure à la fin du 12e siècle. On peut restituer une enceinte de pierre de plan quadrangulaire, renforcée aux angles de tourelles rondes trop modestes pour être considérées comme des tours de défense. A l’ouest, deux de ces tours possèdent de petites salles en partie haute. Il s’agissait sans doute de réduits défensifs, bien que leurs ouvertures étroites ressemblent davantage à des fentes de jour qu’à des ouvertures de tir. Ces salles étaient en communication avec un chemin de ronde dont la trace est encore visible au sommet du mur, avec des créneaux qui ont été fermés a posteriori. La troisième tour, au sud, a été arasée. Contre cette muraille s’élève vers la cour un bâtiment élevé en moellons de granit, la pierre de taille n’apparaissant que pour l’encadrement des ouvertures. Il présente les dispositions caractéristiques des logis nobles de Gâtine de la fin du 15e et du début du 16e siècle. Le bâtiment est élevé sur deux étages au-dessus du rez-de-chaussée. De plan rectangulaire, il montre deux grandes salles à chaque niveau. Ce sont des pièces d’habitation, dotées de fenêtres à coussièges (bancs de pierre) percées vers la cour. Comme les portes rectangulaires, qui sont couvertes d’un linteau décoré d’une accolade, ces fenêtres peuvent dater du milieu du 15e siècle. Leur appui saillant mouluré invite même à une datation plus tardive. Les pièces possèdent des cheminées dont la hotte rectangulaire repose sur des colonnettes à bases baguées et couronnées de chapiteaux ornés de feuillages à peine esquissés. Ce décor rappelle plutôt le 13e siècle (archaïsme ? Remplois ?).

Au sud, le corps de logis principal est précédé d’un autre bâtiment moins profond, adossé à la muraille. Contenant les galeries de circulation, il est clairement venu se plaquer après coup entre les chambres et une tour de plan hexagonal contenant l’escalier en vis. C’est ce dernier qui dessert les étages. On y accède par une large porte rectangulaire, dont l’encadrement est souligné de moulures reposant sur des piédroits à base prismatique. Le linteau assez simple accueille un blason muet. Il devait être peint des armoiries des seigneurs du lieu.

La distribution générale compliquée correspond tout à fait à celle que l’on trouve couramment dans les logis nobles de la fin du Moyen Âge en Bas Poitou : la porte principale, ouverte à la base de la tour d’escalier hors œuvre, conduit à chaque niveau à une galerie étroite desservant deux chambres en enfilade. C’est sans doute dans un second temps que cette galerie a été fermée d’un mur de pierre, éclairée de petites baies cintrées dont le style accuse le courant du 16e siècle. Elle était doublée en façade d’une galerie de bois en encorbellement portée par des poutres dont les trous d’encastrement sont bien visibles. Ils conservent encore de nombreuses pièces de bois sciées au ras du parement.

A l’extrémité nord du logis, au second étage, une porte dans l’angle du bâtiment donnait accès au chemin de ronde de la muraille voisine. La fenêtre qui la jouxte exclut en effet l’hypothèse de l’existence d’une aile de logis en retour, vers l’est.

A l’intérieur, les planchers usés ou déposés des étages témoignent d’un abandon de longue date.

Le château de Hérisson présente un intérêt historique et architectural indéniable. C’est l’un des premiers châteaux de Gâtine et son site archéologique paraît intégralement préservé. Il n’y a jamais eu de fouilles sur le site. Le logis conserve bien lisibles toutes ses dispositions anciennes ; il possède encore ses portes et fenêtres moulurées, et ses cheminées gothiques, toutes différentes, qui sont d’un type peu fréquent en Gâtine.