La rue de la Harpe est l'une des plus vieilles artères de la rive gauche. Son nom remonte au XIII e siècle : une enseigne à la harpe signalait une boutique ou une demeure, et l'on retrouve dans les vieux actes latins la mention vicus Reginaldi Dicti le Harpeur — la rue d'un certain Renaud dit « le Harpeur » — ou encore vicus Reginaldi Citharatoris, « le joueur de cithare ». Avant de s'appeler ainsi, elle portait une kyrielle de noms qui trahissent sa longue mémoire : rue Neuve du Pont Saint-Michel, rue de la Vieille Bouclerie, vicus Vetus Judearia (l'ancien quartier juif médiéval). Ce n'est qu'en 1851, par arrêté préfectoral du 10 mai, que la voirie haussmannienne unifie sous un seul nom la portion historique de la rue de la Harpe et le tronçon de l'ancienne rue de la Vieille Boucherie, entre la rue de la Huchette et la rue Saint-Séverin, pour former la rue telle qu'on la connaît aujourd'hui.
Au siècle des Lumières, la rue rayonne d'une énergie intellectuelle peu commune. En 1746, au n° 16, le libraire André Le Breton signe le contrat qui lance l'impression du premier tome de l'Encyclopédie — l'aventure éditoriale du siècle, à laquelle Denis Diderot et Jean le Rond d'Alembert vont consacrer leur vie. Le n° 35 arbore alors l'une des plus belles façades Louis XV de Paris ; le n° 45 conserve encore une belle porte du XVIII e siècle avec ses ferronneries. Le mathématicien Jean-Paul de Gua de Malves, premier directeur de l'Encyclopédie avant d'être écarté au profit de Diderot, est lui aussi lié à ces parages.
La Révolution française frappera la rue de plein fouet. Au n° 55, en 1793, Madame Roland est arrêtée une première fois — relâchée, puis reprise et conduite à l'Abbaye, à Sainte-Pélagie, à la Conciergerie. Le 8 novembre 1793, elle monte à l'échafaud. Son mari Jean-Marie Roland s'est entre-temps suicidé. Au n° 26, Pierre Dumez, ingénieur et fonctionnaire, est guillotiné le 11 Thermidor an II, à la veille même de la chute de Robespierre. Après Thermidor, au n° 11, l'éditeur de Philippe Buonarroti — l'ancien compagnon de Babeuf — publie ses textes après son retour à Paris en 1830. En 1848, le n° 63 accueille le Club des Jacobins, foyer ardent de la démocratie radicale lors des journées de Février.
La rue de la Harpe continue d'attirer les destins singuliers bien au-delà de la Révolution. Paul Verlaine y habite au n° 6 à la fin de sa vie, entre deux séjours à l'hôpital Broussais. En 1947, au n° 53, Agnès Capri et Maria Casarès animent ce qui passe pour le premier cabaret-théâtre parisien, ancêtre direct du café-théâtre : Francis Lemarque et Jacques Douai y font leurs premières armes. La rue, longtemps cœur du Quartier latin estudiantin, porte encore dans ses pierres cette stratification rare — du Moyen Âge à l'existentialisme d'après-guerre.