Les 4 hectares de jardin, partie intégrante des collections, permettent un voyage végétal autour du monde. En 1893, Albert Kahn s’installe à Boulogne-sur-Seine où il loue un hôtel particulier au 6 quai du 4-Septembre. En 1895, il acquiert la maison et 4 parcelles de terrain. Il entreprend alors la construction de son jardin. En 1920, après avoir réuni au total 23 parcelles, Albert Kahn dispose d’un jardin de près de 4 hectares. Fidèle à son intérêt pour la diversité des cultures, Albert Kahn choisit un genre de jardin bien particulier au XIXe siècle : le « parc à scènes ». L’ensemble paysager qu’il fait aménager se compose d’un jardin français complété par une roseraie et un verger, d’un jardin anglais, d’une forêt bleue et d’un marais suivi d’une forêt dorée et d’une prairie, d’un village japonais, et d’une forêt vosgienne enfin.