En 1665, Colbert avait impulsé la création à Abbeville d'une manufacture royale de draps fins, façon de Hollande, qui a joué un rôle important dans l'histoire industrielle de la ville. Son directeur, Josse van Robais, s'était initialement installé rue de l'Hôtel de Ville et avait établi ses métiers dans plusieurs maisons, principalement dans les quartiers Saint-Sépulcre et Saint-Jacques, chacune d'elles disposant, suivant la place, d'un à dix métiers ; une grande maison sur le Port près du Pont-Neuf en contenait même une trentaine. En 1708, on dénombrait "cent métiers battants" et 3000 ouvriers.
Au commencement du XVIIIe, les van Robais entreprennent de réunir dans un seul établissement les éléments disséminés de la fabrique et font construire dans la chaussée d' Hocquet la "Manufacture des Rames", terminée en 1712. Les "rames" qui servent à faire sécher les draps donnent son appellation au bâtiment.
Les Van Robais sont aussi à l'initiative de la construction, rue Notre-Dame, d'un vaste hôtel connu sous le nom de Maison Neuve et, hors les murs, du château de Bagatelle. L'édification de celui-ci, due à Abraham Van Robais, a lieu entre 1752 et 1754. Le château de Bagatelle est ce qu'on appelle une "folie", c'est-à-dire une "maison dans les feuilles", faite de briques, de bois et de torchis, la pierre n'étant employée qu'en décors, car la bâtisse n'était pas appelée à durer. Cette petite demeure est réputée quelques années après son édification, comme le montre cette citation de Sedaine dans l'avant-propos de Bagatelle, poème anacréontique : "M. Van Robais vient de faire bâtir dans l'un des faubourgs d'Abbeville une maison de campagne à qui il a donné le nom de Bagatelle. Ce bijou (car c'en est un) joint l'agréable à l'utile et rien n'est plus capable de fixer le coeur et les yeux que son architecture et sa situation. Cette retraite ferait plaisir aux Dieux"
Jean-Baptiste Perronneau, Jean-Baptiste Pillement, François Boucher ou encore pfaff de pfaffenhoffen contribuèrent à la beauté de ce décor intérieur.
Vers 1763, il est décidé de transformer Bagatelle en y ajoutant un étage et un toit.
En 1764, Emilie van Robais épouse le baron de Kalb, tué au combat en 1780 des suites de blessures reçues lors de la bataille de Camden, alors qu'il soutenait l'indépendance américaine. C'est en souvenir de lui qu'un aigle américain est peint sur le plafond du salon d'été.
A la Révolution, les Van Robais quittent Abbeville. Le château est racheté par François-Gabriel de Wailly en 1810. La famille de Wailly le conserve près de deux siècles. A la fin du XIXe siècle, Paul de Wailly, élève de César Franck, fait construire un salon de musique fréquenté en particulier par Vincent d'Indy, Erik Satie, Camille Saint-Saëns.
Bagatelle est très endommagé lors de la Seconde Guerre mondiale. Son propriétaire d'alors, Jacques de Wailly, le restaure et André Malraux lui confère en 1963 l'un des tout premiers "Prix des chefs d'oeuvre en péril". En 1992, Henri de Wailly reçoit le grand prix de la Demeure Historique pour la restauration des façades .
