Avec plus de 13 000 livres et 700 manuscrits, le Cabinet des Livres fut aménagé en 1876-1877 dans le "petit château" du XVIème siècle par Honoré Daumet. Il fut conçu à la fois pour recevoir la collection de livres du duc d'Aumale et pour être un lieu de lecture et de travail.