XVe et au XVIe siècle, les barons de Tholet, successivement François de Solages I, II et III, furent des personnages importants du Rouergue, et portèrent le titre de sénéchal du comté de Rodez.
En 1626, sur ordre royal et à l’instigation du Cardinal de Richelieu, de nombreuses fortifications du nord du Rouergue devaient être détruites. Le chef de corps, Antoine de Grolée Montbreton, épousa l’héritière de la baronnie de Tholet, Marguerite de Solages, plutôt que de détruire le château. César de Grolée Viriville, un de leurs douze enfants, est né au château de Tholet. Il le vendit en 1686, au profit des transformations de son château de la Baume situé sur le plateau voisin de l’Aubrac. Le château a été totalement pillé en 1665, dans le cadre d’un règlement de comptes familial. La ruine d’une partie du logis Renaissance date probablement de cet événement. La Seigneurie de Tholet fut vendue peu après (1669). A cette occasion, la famille de Solages offrit les terres du Puech de Tholet à la paroisse, renommée par celle-ci « le calvaire », après qu’elle y ait édifié la chapelle et les oratoires qui y conduisent.
Marc-Antoine-François de Gaujal, avocat, conseiller à la Cour de cassation de Montpellier et historien réputé du Rouergue a été propriétaire du château de Tholet au XIXe siècle, par héritage de son père (Marc Antoine Dominique) qui l’avait acquis en 1768 mais qui fut confisqué de 1792 à 1796. En marge de ses ouvrages bien connus des spécialistes (Études Historiques sur le Rouergue en quatre volumes), il a rédigé un manuscrit inédit sur l’histoire de Tholet. Son petit-fils Ferdinand de Gaujal cède le domaine en 1886.
