La rue doit son nom à Simon de Buci, président du Parlement de Paris qui, en 1350, acquit la porte Saint-Germain toute proche — l'une des ouvertures de l'enceinte de Philippe Auguste côté rive gauche. La voie s'appelait alors rue de la Porte de Buci, ou encore, plus pittoresquement, rue qui tend du Pilori à la Porte de Buci : un tracé qui dit tout d'un quartier où la justice et le commerce se côtoyaient à ciel ouvert. Rochegude rappelle qu'un tronçon voisin porta successivement les noms de rue de l'Écorcherie, de la Folie-Régnier (1265), des Mauvais-Garçons (1399) et du Cœur-Volant, avant d'être réuni à la rue de Buci en 1851.
Au XVIIIe siècle, la rue devient un carrefour intellectuel d'une densité remarquable. Au n° 28, un café s'installe dès 1675 — quatre ans seulement après que la boisson noire a fait son apparition à la Foire Saint-Germain toute proche. Bientôt, le quartier attire Voltaire, Jean-Philippe Rameau, Claude-Adrien Helvétius, Crébillon père, Alexis Piron et Jean-Baptiste Gresset : une constellation des Lumières qui se retrouve notamment au n° 4, où le Caveau — société gastronomique et littéraire — tient ses réunions entre 1729 et 1742. Dans le même immeuble, la loge maçonnique Saint-Thomas au Louis d'Argent tient ses premières assises dès 1726. Au n° 12, l'Opéra-Comique s'installe après avoir quitté la Foire Saint-Germain ; une étoile sculptée au fronton baptise la salle d'un surnom resté célèbre.
La Révolution transforme la rue en atelier d'imprimerie politique. Au n° 4, tourne la presse du Patriote français, journal de Brissot et fer de lance girondin — que les sans-culottes mettront à sac en mars 1793. Au n° 10, Marat compose L'Ami du Peuple à l'imprimerie de l'Égalité en 1790-1791 ; au n° 8, Anne Félicité Colomb édite le Journal des débats et L'Orateur du Peuple, puis une imprimerie jacobine prend le relais jusqu'en 1793. La rue est, le temps d'une révolution, une véritable rotative à ciel ouvert.
Le XIXe siècle n'est pas en reste : Gustave Courbet y pose ses valises au n° 4 en 1841 ; l'éditeur qui publiera les Fleurs du Mal de Baudelaire en 1857 y tient boutique dans le même immeuble. En 1871, Rimbaud, hébergé au n° 10 dans une chambre prêtée par Théodore de Banville, se fait expulser pour s'être mis nu à la fenêtre — anecdote qui résume assez bien l'esprit de la rue.