La rue doit son nom à l'hôtel de Gramont qui occupait ces terrains avant qu'on y ouvre la voie par lettres patentes du 19 février 1726. Longtemps orthographiée « rue de Grammont », elle ne prend sa graphie actuelle qu'en 1930, par arrêté préfectoral — correction discrète pour une artère qui, en deux siècles et demi, a vu passer autant de destins que de révolutions.
Dès ses premières décennies, la rue manifeste un goût pour l'expérimentation. En 1779, au n° 1, Marin Kreefelt y installe le bureau de la première tentative de numérotation systématique des rues de Paris — ancêtre de tous nos numéros de porte. Trois ans plus tard, au n° 30 qui abritait l'ambassadeur de Russie, Beaumarchais fait lire clandestinement sa « Folle Journée » — ce qui deviendra Le Mariage de Figaro — dans un salon où la pièce est encore interdite. Selon Rochegude, l'immeuble des n°s 5 et 7 relevait quant à lui de l'hôtel de Villarceaux, puis de Bermond, de Croissy et de Pomponne ; le fermier général de La Hante y séjournait en 1770, et les Petites Affiches (créées en 1751) y trouvèrent domicile.
C'est sous la Révolution que la rue de Grammont devient un véritable carrefour de l'histoire. Au n° 17, Louise de Kéralio et François Robert lancent le premier journal ouvertement républicain de Paris dès 1789. Au même moment, le n° 1 héberge le bureau des aides et gabelles, institution honnie qui n'attend plus que son abolition. Plus sombre : au n° 9, la banque anglaise de Walter Boyd fonctionne comme une officine de sabotage économique au service de la coalition — les scellés y sont posés en 1793, avant que François Chabot ne les fasse lever dans ce qui ressemble fort à une opération de corruption. Le n° 7 est lié à la scandaleuse liquidation de la Compagnie des Indes orientales, dans laquelle Fabre d'Églantine, Delaunay et Basire sont compromis. Au n° 29, Sophie Demailly tient quant à elle un salon dont les charmes servent, dit-on, les intérêts de l'Angleterre et des nations coalisées.
Après la tourmente, la rue retrouve une respiration plus bourgeoise. Le banquier Jacques Laffitte y réside au n° 27 sous l'Empire, Étienne Arago au n° 10 sous la monarchie de Juillet. En mars 1848, Karl Marx — fraîchement expulsé de Belgique — y fait une brève halte avec Jenny et leurs enfants avant de rejoindre d'autres quartiers. Côté littérature, Théophile Gautier y tient un pied-à-terre entre 1857 et 1858. La rue compte aussi, selon Rochegude, le chanteur Garât parmi ses locataires sous la Restauration — et une « Société fondée par des Ultras » au n° 13 en 1821, où Chateaubriand aurait accueilli le jeune Victor Hugo.