Le financier Charles Gruyn fait construire cet hôtel du quai d'Anjou en 1657-1658 par l'architecte Charles Chamois ; le peintre Michel Dorigny, gendre et héritier de l'atelier de Simon Vouet, en peint les décors. Le duc de Lauzun l'achète en 1682 ; devenu hôtel Pimodan, il accueille au XIXe siècle Baudelaire et Gautier.