Destilly, comme on l’écrivait alors, demeura dans la famille de Valori de 1446 jusqu’à être brièvement vendu par Baudoin de Valori à Adam de Hodon en 1555.
Mais il fut récupéré seulement cinq ans plus tard par le frère cadet de Baudoin, Philippe de Valori, qui avait exercé son droit au retrait lignager. Philippe ne choisit pas très judicieusement son heure…
Deux années plus tard, en 1562, le château médiéval fut pris d’assaut et incendié par les Huguenots, emmenés par le comte Gabriel de Montgomery, qui prit également la forteresse royale de Chinon.
Ne subsistèrent que certaines parties de bâtiments, dont la chapelle des XIIIeet XVe siècles avec une petite bâtisse à l’arrière… et des tunnels reliant Destilly à d’autres châteaux alentour, et dont on aperçoit encore l’entrée discrète, bien que les tunnels eux-mêmes se soient maintenant effondrés.
Malheureusement, les tunnels ne furent d’aucun secours puisque plus de 400 soldats et civils périrent dans l’attaque, y compris deux des enfants du seigneur de Chinon.
Philippe de Valori, qui heureusement pour lui était posté à Chinon à ce moment-là, fit reconstruire le château entre 1590 et 1610, pour l’essentiel tel qu’on peut le voir aujourd’hui, même si des agrandissements et modifications furent entrepris par la suite, notamment au XIXesiècle, comme par exemple la petite tour sur le flanc est qui abrite l’escalier de service.
Un portail d'entrée monumental menant à l'ancienne cour d'honneur, maintenant inscrit à l'Inventaire Supplémentaire des Monuments Historiques, fut rajouté au XVIIe siècle.
Le Château de Détilly resta entre les mains de la famille de Valori pendant encore de nombreuses générations, jusqu’à ce qu’il soit saisi en 1793 par les révolutionnaires français, qui endommagèrent gravement le portail lorsqu’ils détruisirent les blasons de la famille. Miraculeusement, la chapelle fut épargnée, mais convertie en remise.
Bien des années plus tard, en 1855, les tribunaux français accordèrent à la famille de Valori le droit d’utiliser officiellement son nom complet « de Valori-d’Estilly-Rustichelli » – un droit qu’elle avait réclamé avant la Révolution, lorsqu’elle était encore propriétaire du Château de Détilly, mais n’avait pas obtenu à cause des événements.