Le quai des Orfèvres doit son nom aux orfèvres et joailliers qui s'y installèrent dès le XVIIe siècle, faisant de ce bord de Seine l'un des hauts lieux du luxe parisien. Sa construction s'étale sur plus d'un demi-siècle : la partie comprise entre le pont Neuf et l'ancienne rue de Jérusalem est édifiée de 1580 à 1643. Le quartier avait déjà ses racines médiévales : les orfèvres parisiens possédaient ici leur chapelle dédiée à saint Éloi, leur patron, construite en 1403 et réparée en 1550 par Philibert Delorme. Elle disparaît en 1786, ses bâtiments servant provisoirement de grenier à sel avant d'être absorbés par les nouvelles constructions municipales. Un hôpital lui était attenant jusqu'en 1790.
Mais le quai est surtout hanté par deux naissances retentissantes : au n° 38, en 1636, voit le jour Nicolas Boileau-Despréaux, futur législateur du Parnasse français ; et c'est dans le même immeuble qu'en 1694 naît François-Marie Arouet, qui se fera appeler Voltaire. La même adresse abrite, deux siècles plus tard, la préfecture de police — théâtre de toutes les révolutions parisiennes. En février 1848, Marc Caussidière s'en empare et y organise ses montagnards comme une petite armée. Le 9 thermidor an II, c'est déjà ce bâtiment qui joue un rôle ambigu : Jean-Baptiste Coffinhal y libère un Robespierre arrêté pour le conduire à l'Hôtel de Ville, ultime soubresaut d'une Commune agonisante.
Sous la Commune de 1871, la préfecture devient le cœur nerveux de la répression et de la contre-révolution à la fois. Raoul Rigault s'y installe comme délégué à la sûreté générale, y prépare des mandats d'arrêt contre les minoritaires du Conseil, découvre des listes de mouchards. Lors de la Semaine sanglante, le bâtiment est incendié — 238 édifices brûlent dans Paris cette semaine-là — et la préfecture doit se replier dans la caserne de la Cité. Plus tôt, en 1811, c'est au n° 14 qu'Eugène-François Vidocq installe les bureaux du service qui deviendra la Sûreté générale.
Le quai réserve encore quelques surprises au XXe siècle : l'écrivain Vercors (Jean Bruller), auteur du clandestin Silence de la mer, habite au n° 58 à partir de 1948 dans une ancienne imprimerie, et y meurt en juin 1991. Quelques numéros plus loin, au n° 36, les brigades des Renseignements généraux sévissent sous l'Occupation, arrêtant des milliers de juifs et traquant les résistants — ombre portée sur un quai dont chaque pierre semble enregistrer les excès du pouvoir.