Azay-sur-Cher était une châtellenie qui appartint, aux XIIIème
et XIVème siècles, aux seigneurs de Surgères. En 1477, les de Clermont la cédèrent à Louis XI qui la donna à la collégiale Saint-Martin de Tours qui la garda jusqu'en 1790.
Au milieu du 14e siècle, les troupes anglaises occupèrent la ville et l'incendièrent.
Du château seigneurial, reconstruit après l'incendie, et qui existait encore entièrement en
1700, subsistent une haute tour carrée dont le couronnement primitif a disparu. Sa façade nord est accompagnée d'une tourelle d'escalier octogonale à sa base, et cylindrique à sa partie
supérieure.
De cette tourelle part une partie de l'ancien mur d'enceinte auquel était adossé un bâtiment
d'habitation qui s'est écroulé. A l'ouest de la tour et de cette courtine subsiste une tour cylindrique.