Longue de près de sept cents mètres, cette artère du 5e arrondissement descend depuis la place de la Contrescarpe jusqu'au quai de la Tournelle en traversant l'un des quartiers les plus chargés d'histoire de Paris. Son nom honore Jean Lemoine (vers 1250–1313), cardinal picard et juriste remarquable, qui fonda en 1302 l'un des plus anciens collèges de l'Université de Paris sur l'enclos que la rue traverse encore aujourd'hui. Longtemps appelée rue des Pères de la Doctrine Chrétienne, elle ne reçut son nom actuel que par arrêté du 2 avril 1868, au moment où le baron Haussmann redessinait la rive gauche.
Le sous-sol est lui-même un livre d'histoire. L'enceinte de Philippe Auguste, édifiée vers 1209, court sous plusieurs immeubles des numéros 40 à 68 : on en distingue encore des vestiges dans des halls d'entrée, des cours intérieures, et une encoche marquant l'emplacement d'une tour. Plus profond encore, une arche du canal de la Bièvre datant du XIIIe siècle sommeille sous les fondations du bureau de poste du 30 bis. Le collège Cardinal-Lemoine lui-même, dont subsistent des vestiges aux numéros 20–28, vit passer Jacques Lefèvre d'Étaples entre 1495 et 1507 : cet exégète d'Aristote et précurseur de la Réforme y étudia puis y enseigna. Plus tard, au n° 65, le Collège des Écossais accueillit les étudiants fuyant les persécutions religieuses outre-Manche — et, fait macabre, conserva un temps le cerveau de Jacques II, roi détrôné d'Angleterre. La Terreur transforma ces murs en prison : Saint-Just y fut incarcéré en 1794.
La rue est aussi un carrefour de destinées singulières. C'est au n° 67 que Blaise Pascal mourut en 1662 chez sa sœur Gilberte Périer ; on découvrit alors, cousu dans la doublure de son habit, le parchemin de la fameuse Nuit de feu. Au n° 73, Paul de Chomedey de Maisonneuve, fondateur et premier gouverneur de Montréal, s'éteignit en 1669. Paul Verlaine habita au n° 48 dans les dernières années de sa vie, après avoir célébré son mariage et rejoint la Garde nationale au n° 2 en 1870 ; c'est là aussi qu'Eugénie Krantz lui déroba ses manuscrits en 1894. Au début des années 1920, le jeune Ernest Hemingway et sa femme Hadley s'installèrent au n° 74, dans un appartement sans eau courante, au cœur de cette bohème littéraire que Ford Madox Ford animait à la même adresse. La rue n'oublie pas non plus la Commune : en mai 1871, Eugène André, membre de la commission de l'Enseignement, fut exécuté sommairement devant sa porte au n° 25, tandis qu'une cour martiale siégeait au 30 bis pendant la Semaine sanglante.