Cette terre appartenait dès le tout début du XlV° siècle à la famille de Charry. Ses archives signalent en effet: « En 1303. Guillaume de Charry cède à son frère Etienne (qui s'engage à subvenir à ses besoins jusqu'à la fin de ses jours) une motte qu'il Possédait près de l'église de Vuée ».

 

La Maison de Charry admise aux Honneurs de Cour en 1707 a donné des Chevaliers de Malte et plusieurs officiers généraux.

 

Huez entra dans la maison de Chabannes par le mariage, en 1678, de Marie de Charry avec Hubert de Chabannes de Vergers.

 

Louis-Jacques-Henri comte de Chabannes vendit Huez vers 1820 à M. de Vanoix, afin de pouvoir racheter Cuncy à son beau-père M. Limanton de Jaugy.

 

Vers 1828, M. de Vanoix céda Huez à Edouard-Charles comte de Saint-Phalle, dont les descendantes Mesdames Wallaert et de Féligonde en sont les actuelles propriétaires.

 

C'est donc ainsi que Paulin-Louise-Henriette de Chabannes naquit à Huez encore Propriété́ de ses parents en 1808 et y mourut en 1854 du fait de l'acquisition par son mari.

 

Le château actuel a été́ entièrement reconstruit vers 1830 par Edouard-Charles de Saint-Phalle.