En vous promenant dans la rue Velouterie, à l’intérieur des remparts, au sud-ouest de l’enceinte, vous remarquerez, encastrée dans des maisons contemporaines, la façade d’une ancienne église délabrée et noircie. Un curieux balcon en fer forgé orné de pots de fleurs, des fenêtres percées dans le portail, fermées par des persiennes, prouvent que l’église, transformée en appartement, est (ou a été) habitée. C’est tout ce qui reste de l’ancienne église  médiévale de Notre-Dame-Des-Miracles bâtie sur ces lieux en 1326 et remaniée ultérieurement si l’on en juge par son fronton triangulaire, sa voûte en plein cintre encadrée de chaque côté par deux pilastres au chapiteau ionique.

Cette église a une histoire que l’on peut lire aux archives départementales. Au début du XIV° siècle, un jeune homme fut accusé d’un crime. Il ne cessa de protester de son innocence mais en vain. Il fut condamné à être brûlé. Les sergents de la cour du pape  l’amenèrent au lieu appelé l’Estel qui était alors en dehors des remparts où se déroulaient les exécutions publiques. Il fut attaché à un poteau par le cou, les bras, les jambes et ne cessa pendant ce temps d’invoquer la Vierge Marie en se déclarant innocent. On amoncela une grande quantité de bois autour de lui et on mit le feu. Le bûcher s’embrasa, activé par le vent. Pourtant, alors que la foule le croyait mort, il sortit des flammes, intact, disant qu’il avait vu une belle dame, tenant un enfant dans les bras, qui était venue le  délivrer de ses liens. Les sergents voulurent le reconduire au bûcher mais ne purent y parvenir. Tous comprirent qu’il s’agissait d’un miracle. Le pape Jean XXII ordonna que l’on construisit une église en l’honneur de la Vierge sur le lieu du miracle. L’église fut édifiée en 1326 et le trésor pontifical paya pour sa construction 560 florins d’or. 
Les exécutions furent transférées à l’opposé de la ville, au lieu appelé des Isles, entre la porte saint Michel et la porte Saint Lazare.

Notre-Dame des Miracles était alors située hors-les-murs, l’enceinte des XII° et XIII siècles étant plus petite que celle du XIV° siècle plus large qui enferma l’église intra muros. La porte des Miracles qui ouvrait les remparts permettait d’accéder à Notre-Dame. Elle se nomme aujourd’hui porte Saint Roch.