La première mention du Château de Chargé date de 1429 avec Guillaume de la Barre, écuyer du Roi basé à Chinon. A l’origine le château est probablement un fortin en carré avec 4 tours et une palissade en bois. Aujourd’hui, trois des tours sont toujours visibles et le château a été remanié au XVIème siècle en particulier sous Nicolas de la Barre alors gentilhomme de la chambre du roi. Le Château reste dans la famille de la Barre jusque vers 1700 et passe ensuite de main en main, chaque propriétaire modifiant l’aspect du château en ajoutant des tours, une aile supplémentaire, les écuries…
Les caves aujourd’hui voûtées sont d’anciennes carrières de tuffeau datant du XVème siècle et le souterrain, dont une partie est toujours visible, était un moyen d’échapper à l’envahisseur en rejoignant le château le plus proche à plus de 2 Km.