Au cœur de la montagne Sainte-Geneviève, le 23 rue Clovis recèle l'une des strates les plus denses de Paris : l'ancienne abbaye Sainte-Geneviève, dont il ne subsiste aujourd'hui qu'une haute tour romane plantée dans la cour du lycée Henri IV. C'est ici que reposaient, dit-on, Clovis Ier, Clotilde et Geneviève elle-même, au pied de cette tour qui porte encore le nom du roi franc. La rue Clovis, percée en 1804 sur l'emplacement même de l'église abbatiale, a littéralement traversé les murs du sanctuaire.

Mais c'est sous le Directoire que le lieu explose dans l'histoire politique. Dès 1795, le réfectoire de l'abbaye désaffectée accueille le Club du Panthéon — dit aussi club des Panthéonistes —, bouillonnante assemblée d'« Amis de la République » où se croisent Gracchus Babeuf, Philippe Buonarroti, Sylvain Maréchal, Félix Lepeletier de Saint-Fargeau et Jean-Baptiste Drouet. Le club devient vite la matrice de la future Conjuration des Égaux : dans un cabinet discret au milieu du jardin, prêté par un certain Cardinaux, le comité initiateur se réunit en secret. L'aventure tourne court : le 9 ventôse an IV (27 février 1796), le général Bonaparte fait fermer le club d'autorité.

Le bâtiment renaît en école, puis en lycée. Sous le nom d'École centrale du Panthéon, il forme des générations d'esprits : Haussmann, Viollet-le-Duc, Alfred de Musset, Eugène Scribe y étudient. Plus tard, interne en 1922, le jeune Jean-Paul Sartre s'y lie à Paul Nizan ; en 1928, le philosophe Alain y enseigne à Simone Weil en khâgne. Durant l'Occupation, un groupe de résistants baptisé « Volontaires de la liberté » transmet depuis ces murs les résultats des bombardements alliés à Londres.