Milhac est une petite localité de la Bouriane, à la limite du Périgord Noir dont l'histoire est intimement liée à l'histoire du Quercy.
Capitale de la Bouriane et place forte importante, le village servait de résidence au Maréchal de Lauzières Thémines, dernier chef catholique de la région au XV° siècle. Malgré l'usure du temps, le village a su conserver les aspects authentique d'autrefois.

Milhac est un village historique oublié par l'histoire, il était sur une route jadis importante entre Gourdon et la vallée de la Dordogne et vers le passage sur la rive droite de la rivière par le bac de Calviac en Périgord ou par Grolejac évitant ainsi les mauvais génies du marécage de la Germaine.

La construction des ponts de Grolejac et de Saint Julien de Lampon, il y a bientôt un siècle, développèrent d'autres voies de communication. Le château de Villeneuve de Milhac fut construit après que " le château vieux " fut rasé par une offensive anglaise au cours de la guerre de cent ans. Le Baron de la Bouriane décide au début du XV° siècle la construction d'une puissante forteresse dotée de 10 tours, de 40 pièces sur 3 niveaux en à pic sur la vallée de la Relinquière. Il fut modifié au XVI ^éme et au XVII ^ème siècles. Comme autour de tous les mythes féodaux et selon la légende, il aurait des passages secrets vers les châteaux de Gourdon, de Rocanadel, Masclat et Fénelon.

La maison de Pierre de Jacques est construite comme un rempart de la place forte de cette bastide. Certaines maisons furent enjolivées à partir du démembrement et de l'incendie dont le château, comme beaucoup d'autres par ici firent les frais. La maison de Pierre de Jacques est remodifiée autour d'anciennes tours épargnées et qui portent le nom de leur nouveau propriétaire.