Un premier château, construit à partir de 1030 par Pierre Ier sur ordre de Foulques Nerra, pour remplacer celui de Saint-Pierre, devient très vite le centre d'une cour importante. Au 12ème siècle, le château détruit puis reconstruit, perd de son importance faute de seigneurs résidents.
La porte du château (identique à celle de Montreuil-Bellay) date du début du XIIIème s. Elle est curieuse de par son architecture en ruche d'abeilles et est surmontée d'une sculpture représentant un homme jetant des pierres sur des assaillants : "Le bonhomme Chemillé". La place de la herse est encore visible.
Pour découvrir les vestiges des remparts du château, suivez le parcours de la Coulée verte. Vous pourrez notamment y deviner l'angle de la forteresse avec son avancée. Ces remparts ont été détruits à la fin des Guerres de Religion, au 16ème siècle.