Jean de Bernuy fue un judío español a quien la Inquisición expulsó de España. Se convirtió en un rico comerciante con el negocio del pastel, aquella flor que daba un tinte azul indeleble. En el siglo XVI, mandó construir esta mansión de estilo renacentista al arquitecto Louis Privat.

Este palacete posee la torre de escaleras octogonal más alta de la ciudad. Actualmente este magnífico palacete del Renacimiento alberga parte del Instituto y Colegio Pierre de Fermat.