Le couvent des minimes est fondé en 1646 par lettres patentes de Louis XIV. Les bâtiments s’ordonnent en trois corps de logis autour d’un cloître, le dernier côté étant en partie fermé par la chapelle. Le cloître présente de hautes arcades en plein cintre avec un appareillage à refends. L’ampleur des bâtiments et du bel escalier d’honneur à quatre volées et balustres de pierre s’explique par les revenus importants dont disposaient les minimes, mais également par les liens privilégiés qu’elles ont toujours cherché à entretenir avec les évêques.
Après la Révolution, le site accueille le grand séminaire, puis le conservatoire de musique. C’est aujourd’hui le siège d’un foyer de jeunes. La chapelle, avec sa façade classique du XVIIe siècle en calcaire blanc, a été transformée en salle de concert.