Le château médiéval est peu connu. Il fut probablement construit au 14e siècle, lorsque la seigneurie de Pleumartin passe aux mains de la famille Ysoré. D'après l'atlas de la terre de Pleumartin, il est flanqué de plusieurs tours défensives et protégé par un système de fossés.
Ce document nous renseigne sur l'état du château au 18e siècle. Des pavillons d'entrée (encore conservés aujourd'hui), une grande orangerie et des bâtiments d’exploitations sont alors visibles à proximité du logis. En 1753, le marquis Victor Marie Ysoré, fortement endetté, s’est fait connaître pour sa grande cruauté : dans une cheminée du château, il fait griller le dos de quatre huissiers venus réclamer le règlement des dettes. L’affaire s’envenime lorsqu’il fait abattre un représentant de la sénéchaussée de Poitiers, arrivé à Pleumartin pour le juger. Le marquis est alors forcé de fuir pour échapper aux autorités. Il est finalement découvert et conduit devant la justice. Le verdict du Parlement de Paris est sans appel : il est jugé coupable et condamné à la peine de mort en 1756. Il meurt finalement dans sa geôle avant l’exécution de la sentence. Par ailleurs, la justice ordonne la destruction complète du château de Pleumartin, symbole fort du pouvoir nobiliaire du marquis. Cette affaire marqua considérablement le pays et ses alentours et de nombreuses légendes circulèrent sur les méfaits du marquis jusqu’au siècle suivant.
Malgré la condamnation du marquis Victor Marie Ysoré et la sentence de 1756 ordonnant la destruction du château, quelques vestiges demeurent : une haute tour circulaire de faible diamètre est encore visible dans le parc et pourrait être un vestige de l'ancien logis. Une grande dépression du terrain près de l'emplacement de l'ancien château permet de distinguer les anciennes douves. Plusieurs caves ou souterrains sont aussi signalés au début du 20e siècle.
Il faut attendre le début des années 1830 pour qu’une nouvelle demeure soit bâtie. Érigée par le marquis Louis Armand François Ysoré et son fils Angadrême Louis, cette construction est un exemple rare de château de style Louis-Philippe dans les Vals de Gartempe et Creuse.
Un siècle après sa construction, la demeure subit d'importants travaux. Les propriétaires s’inspirent alors d’une demeure italienne de style palladien, dont le classicisme s’intègre parfaitement avec le château de 1830. L’étage d’attique est transformé en second étage et une balustrade, surmontée de pots-à-feux, couronne chaque façade. Les élévations nord-est et sud-ouest sont dotées de frontons triangulaires portant des décors sculptés. Des sculptures en haut-relief encadrent les blasons des Ysoré et ceux des différentes épouses de la famille au 19e siècle.
D'après les matrices cadastrales, les communs sont reconstruits en 1861. Des granges, des étables et des logements pour les domestiques sont disposés de chaque côté d’une grande cour carrée et remplacent les anciennes servitudes. Le parc entourant le château est aménagé en jardin à l’anglaise, composé de grands espaces de pelouses parsemés de bosquets d’arbres. La propriété est clôturée par un mur.
Chercheur associé à la Communauté de Communes des Vals de Gartempe et Creuse (2015-2016), puis à la Communauté d'Agglomération de Grand Châtellerault (2017-...).