La statue équestre de Philis de la Charce, souvent appelée "la Jeanne d'Arc du Dauphiné", accueille le promeneur dans ce jardin totalement intégré à l’histoire des fortifications de Grenoble. Alors qu'il s’étale sur les pentes de la Bastille, il domine la ville en utilisant ses escarpements.
En 1785, le négociant Jean-Baptiste Dolle y crée une « folie », une maison dédiée aux fêtes et aux plaisirs en périphérie de la ville, pratique alors à la mode. Il fait aménager à l’abri de la fortification six terrasses superposées plantées d’arbres et de massifs, en partie portées par des murs de soutènement et reliées par des escaliers, passages et sentiers. On y trouve des serres et des citernes, la Bastille étant dépourvue de sources. Cette « folie Dolle » comprend aussi une maison romaine équipée d’une grande bibliothèque et meublée par l’ébéniste Hache. Des fêtes somptueuses agrémentées d’illuminations spectaculaires s’y déroulent.
Abandonné à la Révolution, rongé par les carrières de pierre alimentant les fours à chaux à son pied, le jardin est réhabilité au début du XXe siècle par le paysagiste Ginet dans le goût pittoresque : pavillon belvédère, tour à archères, boulet souvenir, etc. L’office de tourisme est alors placé à son entrée et une liaison piétonne par le parc Guy-Pape permet l’ascension jusqu’au sommet du téléphérique.
Ce jardin est aujourd'hui aussi le point de départ du GR 9. Du fait de son exposition, ce site alpestre voit prospérer en pleine terre buis, grenadiers, néfliers et bananiers avec un accent méditerranéen marqué.