Les frères Perier sont des banquiers et négociants en denrées coloniales. L'hôtel Perier est loué à partir de 1808 et puis acheté en 1822. Il y résidera jusqu'en 1831. lorsqu'il sera nommé premier min