L’histoire connue du Château de Détilly – ou Destilly comme on l’appelait alors – nous ramène au Xesiècle. En 954 – l’année où fut construite la première tour de la forteresse de Chinon – la propriété fut donnée en fief par l’archevêque de Tours Joseph II à Gombaud, qui devint seigneur de Destilly.
L’un de ses successeurs, le chevalier Robert de Pocé, fonda sur ces terres la chapelle originelle, dédiée à Notre Dame de Pitié et à Saint Marc. Elle fut consacrée en 1135 par un autre archevêque de Tours, Hugues de la Ferté.
Vers la fin du XIesiècle, Hugues de Destilly, le propriétaire de l’époque, donna la propriété en dot à sa fille lorsqu’elle épousa le chevalier Guy de Brizay, seigneur de Brizay (au sud-est de Chinon) et de Haut-Brizay (au nord de Poitiers).
La propriété demeura dans la famille de Brizay pendant huit générations, jusqu’à ce que Jean de Brizay la vende en 1446 à son gendre, Louis de Valori, qui fut maître d’hôtel de Louis III, duc d’Anjou et roi de Naples, et écuyer du roi de France Charles VII (celui que Jeanne d’Arc reconnut à Chinon en 1429).
Louis de Valori, dont le grand-père Gabriel Valori-Rustichelli avait émigré de Florence en France dans les années 1370, descendait de la branché aînée de la grande famille italienne Rustichelli.
Louis de Valori paya 5 625 livres françaises pour Destilly, après avoir vendu le Château de Marignane en Provence, lequel avait été donné à son père par Louis II d’Anjou. Ce fut le début de plus de trois siècles entre les mains de la famille de Valori.