Cette imposante bâtisse, décrite par Prosper Mérimée comme "un condensé d'art médiéval", se dresse à l'extrémité d'un plateau rocheux dominant les quatre rivières de la Cère, de la Bave, du Mamoul et de la Dordogne, à la limite nord du Quercy.
Les appartements désormais ouverts au public abritent l'ensemble de la collection de meubles et d'objets d'art, aménagés et sélectionnés personnellement par Jean Mouliérat.