25.000 Werke, die im Wesentlichen zwischen 1789 und 1914 erworben wurden, bilden heute den alten Bestand der Stadtbibliothek.
Die erste Gray-Bibliothek entstand während der Revolutionszeit, nachdem die Graylois zahlreiche Werke und Manuskripte in den Bibliotheken der Lehrgemeinden der Stadt, der benachbarten Abteien und der Häuser der Emigranten gerettet hatten. Sie war für die Öffentlichkeit zugänglich und befand sich im ehemaligen Cordeliers-Kloster.
1859 wurde die heutige Bibliothek neben dem Rathaus errichtet. Als Prunkstätte konzipiert, kommunizierte sie mit dem Büro des Bürgermeisters. Sie öffnete am 1. Januar 1860 ihre Türen.