La chapelle de la Citadelle fut ouverte sous le vocable de Notre Dame de l'Immaculée Conception.
La tradition rapporte que très anciennement, il y eut à cette place un ermite, puis une église avec des chanoines réguliers. Vers 570, elle aurait été transformée en Abbaye de Saint Benoît par Saint Flavien, évêque de Chalon, successeur de Saint Agricol et prédécesseur de Saint Loup. Ce fut l'Abbaye de Saint-Pierre par où les évêques nommés à Chalon faisaient leur entrée en ville. Les moines émigrèrent près de la Saône en 1570 et leur Abbaye fut remplacée par la Citadelle. L'église Saint-Pierre actuelle qui était leur nouvelle chapelle fut terminée en 1713.