Il ne reste presque plus rien de l'ancien château féodal qui se trouvait au même endroit. Il existait un premier pont fortifié au XIe siècle, avant 1054, puisqu'un acte de cette période mentionne « le castrum ».

 

     En 1149, le vicomte de Béziers, suzerain du lieu inféode au seigneur de Minerve (Aude) la moitié du château récemment édifié de Camarès et des terres qui en dépendent. M. de Barau nous précise simplement qu'il était « fort vaste, de forme irrégulière, subordonnée à la configuration du terrain ». Dans un premier temps, le château et ses dépendances sont la propriété de l'illustre famille du Pont, qui porte le nom de la localité et descend vraisemblablement des anciens viguiers Carolingiens. Par la suite, vers 1353, la terre de Camarès passe par mariage à différentes familles.

​

      En 1577, une partie du château, à l'état « casal » inhabitable, est donnée aux consuls de la ville pour construire le temple protestant. En février 1600 le château en ruine et la terre du Pont sont rachetés à la famille Arpajon.

​

     Les guerres de religion ont été fatales au vieil édifice qui, semble-t-il, n'était déjà plus habitable. Une enquête du 1er juin 1603 précise qu'il est à cette époque « ruyné et desmoly depuis nombreuses années ny ayant qu'une partie de paroi vers le four encore sans fondement du costé bas. »

Le château est alors réédifié totalement. M. de Valette décide de faire construire un logis à 4 étages. La famille de Valette va morceler le château seigneurial. En 1641, une partie est vendue au lieutenant de justice du roi Jean de Mazars. L'autre partie est cédée en 1663 à Claude de Juge, avocat au parlement de Toulouse, il ne résidera jamais à Camarès.

​

      En 1697 l'édifice est toujours divisé en deux parties : M. de Juge et Pierre-Balthazar de Mazars qui en possède la plus grande partie.

Le dernier propriétaire et seigneur du Pont-de-Camarès est François de Bertier, héritier de la marquise de Brassac.

​

      Un dernier inventaire en date du 7 novembre 1786 décrit un ensemble voué à la ruine. Certains murs lézardés menacent de s'effondrer. Quant au toit il est inexistant sur une partie de l'édifice.

Plus tard remanié, il est transformé en habitation particulière.

​

​