A la fin du XVIIIe s. est constitué le premier jardin, appelé Place aux Arbres.
Grâce à l'intervention d'Albert Durand, Président du Syndicat d'Initiative en 1913, le maire de l'époque obtient le classement de la Place aux Arbres parmi les sites et monuments naturels de caractère artistique.
Le jardin se développe sur 3 niveaux : la Place aux Arbres offre un panorama sur les origines de la ville, surplombant le château et le quartier médiéval autour de l'église St-Sulpice ; la Place Leroux aux allées bordées de buis encadrent un bassin du XVIIe s. en granit ; un fougerarium, sur la rive gauche du Nançon, fait découvrir plus de 50 espèces de fougères provenant d'Asie, de Russie ou d'Amérique.