Le château fut précédé par différentes constructions depuis le Moyen-Âge. La famille Pindray d'Ambelle possédait le château au 14e siècle.
L'ancien château, figuré sur le plan cadastral de 1840, était orienté à l'est.
Au 19e siècle, le château appartient successivement aux familles Girard de Pindray, le Tallandier puis Laurent de la Besge. Celle-ci procède à la destruction de l'ancien château en 1865, qui est remplacé par l'édifice actuel, achevé en 1869.
Les communs pourraient dater du 17e siècle.
Les descendants de la famille de Girard, seigneurs de Pindray, au 19e siècle, possédaient leur tombeau dans le cimetière.
Le château a été victime d'un incendie criminel en 2012 et détruit en 2019, à l'exception des communes et d'une tour d'escalier.