Avant d'être la rue Mazarine, cette voie portait deux noms successifs qui en disent long sur sa topographie : petite rue de Nesle, puis rue du Fossé — car elle longeait précisément le fossé qui bordait l'enceinte de Philippe Auguste. Les vestiges de cette muraille médiévale ne sont pas que des abstractions : on les retrouve encore aujourd'hui, enfouis sous le parking du n° 27, debout à l'intérieur d'une cour au n° 35, et dans la cour de l'Institut au n° 5. La rue doit son nom actuel au voisinage du collège des Quatre-Nations, ce palais commandé par testament par le cardinal Mazarin, devenu l'Institut de France — dont le mur d'angle, à hauteur de la rue de Seine, garde gravée la laisse de la grande crue de 1910 : 8,40 m au pont de la Tournelle.
La vocation scénique de la rue s'impose dès 1643–1644, quand Molière et la troupe des Béjart — Madeleine, Geneviève, Joseph — fondent l'Illustre Théâtre aux n° 10–14, avec leur première représentation le 1er janvier 1644. Quelques décennies plus tard, c'est au n° 42 que naît l'Académie d'Opéra : en 1669, Louis XIV accorde à l'abbé Pierre Perrin un privilège exclusif de douze ans ; le compositeur Robert Cambert met en musique Pomone, première représentation de cette académie. La salle dite Guénégaud accueille ensuite, à partir de 1673, la fusion des troupes de Molière et du Marais — puis, en 1680, leur réunion avec celle de l'Hôtel de Bourgogne donne naissance à la Comédie-Française, qui reste rue Mazarine jusqu'en 1770. L'actrice Marie Desmares, grande interprète des pièces de Racine et de Corneille, habitait au n° 5.
Au tournant du XIXe siècle, la rue change de registre sans rien perdre de son intensité. Champollion déchiffre les hiéroglyphes au n° 28 en 1822. En 1844–1845, Pierre-Joseph Proudhon et Karl Marx y tiennent de longues discussions au n° 36 — Proudhon habite d'ailleurs lui-même la rue, au n° 70, où Henry Murger, l'auteur des Scènes de la vie de Bohème, lui succède en 1848. Au n° 44, Zola situe l'intrigue de Thérèse Raquin dans un hôtel qu'il aurait peut-être lui-même fréquenté ; Édouard Manet installe demeure et atelier au n° 60. En 1868, le n° 34 voit s'ouvrir les Marmites, restaurants coopératifs liés à l'Internationale, où le repas se double du débat. Cent ans après la Révolution, l'esprit contestataire revient : en mai 1968, l'atelier populaire des Beaux-Arts imprime ses affiches au n° 46.