En 1605, un noble protecteur fait construire une chapelle sur les lieux qui auraient été abrité des ermites auparavant. Après la Révolution, la propriété échoit à la commune qui la loue un temps à un ermite, Joseph Simonin. Redevenue privée, elle est ensuite menacée d’abandon, mais une association œuvre aujourd’hui pour la préserver. Derrière l’habitation de pierre au toit de laves, une terrasse herbeuse offre une vue panoramique sur Conliège, la Vallée de la Vallière et Lons-le-Saunier. Un peu plus haut, sur la commune de Briod, la Chapelle Saint-Etienne de Coldre est également sauvegardée par des amis de son histoire et de son environnement. Dotée d’un cimetière burgonde, elle serait l’un des plus anciennes églises de Franche-Comté, même si le bâti actuel date principalement du XVIè siècle.

L’Ermitage est accessible par le Voie verte qui relie Perrigny à Châtillon. Réservée à l'usage exclusif des piétons, VTT… (circulation strictement interdite aux véhicules motorisés). Le départ se fait depuis le Haut du village de Perrigny. Vous longerez les vignes entre Perrigny et Conliège, avec de superbes points de vue sur la vallée de la Vallière. Vous monterez en pente douce sur un chemin ponctué de nombreux points intéressants dont le tunnel éclairé de la Diane, long de 800m.