C’est Matebrune de Ventadour qui a apporté́ à son mari Eschivat de Chabannes une partie de la seigneurie de Charlus le Pailloux (Pailloux signifie palissade).

Ebles III le Chanteur, vicomte de Ventadour qui mourut en 1155 eu entre autres, Ebles IV père de Matebrune par sa première femme Marguerite de Turenne, répudiée par la suite pour cause de parenté. Tandis que les d'Ussel étaient seigneurs du château supérieur de Charlus. Matebrune recevait en dot le château inferieur qu'elle apporta à son mari. En effet une charte de 1409 nous prouve que Robert de Chabannes était dénommé « Nobile viro Roberto de Chabanis domino castri inferioris de Chalussio le pathos ».

 

En 1395. un différend s'éleva entre Hugues de Chabannes et Hugues d'Ussel à propos d'une chapelle existant entre les deux châteaux et détruite sur l'ordre d'Hugues d'Ussel. A la suite d'un arbitrage. Il fut stipulé que la chapelle serait reconstruite à frais communs. C'est vraisemblablement pour la distinguer de l'autre que la partie appartenant aux Chabannes porta, jusque au XVIème siècle, le nom de Charlus-Chabannes.

 

Le Mémoire sur la Maison de Chabannes de 1759 nous apprend que le château fut réédifié́ par Ebles lll de Chabannes qui en fit une puissante forteresse.

​

En 1552, le château, ruiné, était devenu inhabitable, ce qui força Joachim de Chabannes à transférer de Charlus à Saignes le douaire de sa quatrième femme Charlotte de Vienne.

Charlus appartenait en 1600 à François II de Chabannes, comte de Saignes. Son petit-fils, Anne-Marie, seigneur de Mariol vendit Charlus aux Le'vis-Charlus. En 1759. il ne restait du château que quelques pans de murs aujourd'hui disparus.