Ouverte par ordonnance du 2 février 1826, la rue s'appelle d'abord simplement rue Fontaine — hommage à Pierre François Léonard Fontaine (Pontoise, 1762 – Paris, 1853), architecte impérial de premier rang, compagnon de route de Percier, décorateur des fêtes napoléoniennes, restaurateur du Louvre et commandeur de la Légion d'honneur. Ce n'est qu'en janvier 2004 que la municipalité lui restituera son prénom complet, pour le distinguer d'homonymes éventuels. La voie descend sur 370 mètres depuis la rue Chaptal et la rue Jean-Baptiste Pigalle jusqu'à la place Blanche, cœur battant de Montmartre : douze mètres de large, suffisamment pour que les ateliers s'y multiplient et que la bohème y prenne ses aises.
Dès la monarchie de Juillet, la rue attire les artistes. Paul Gavarni, caricaturiste vedette du Charivari et de La Mode, y loge au n° 1 de 1837 à 1846. Franz Liszt y passe, Balzac aussi — au point qu'un théâtre de la rue portera un temps son nom. Plus tard, Gustave Courbet fait du n° 1 son quartier général et celui de ses amis vers 1861, tandis qu'au n° 37 s'ouvre en 1870 la première académie de peinture parisienne à admettre des femmes. En 1878, c'est dans l'atelier d'Edgar Degas au n° 19 bis que Edmond de Goncourt rencontre l'acrobate Miss La La, modèle du célèbre tableau et inspiration pour Les Frères Zemganno. Quelques années plus tard, Henri de Toulouse-Lautrec s'installe dans le même immeuble chez son ami Alfred René Grenier (1885–1887), puis chez le docteur Henri Bourges au n° 19, puis au n° 21 — soit presque une décennie rue Fontaine, à portée des cabarets de la Butte.
La rue abrite aussi ses salles de spectacle et ses cafés-concerts : au n° 16 bis, le Concert des Incohérents, puis des Décadents, fait danser et rire Paris de 1884 à 1896 ; au n° 25, l'établissement aux mille noms — Champs-de-Foire, Funambules, Théâtre Sans-Gêne, Théâtre Balzac, Théâtre du Vice et de la Vertu — finit par devenir la Nouvelle Ève. Au n° 27, José María Luis Mora, historien et penseur de la réforme libérale mexicaine, meurt en exil en 1850. Et c'est au n° 38 bis que s'éteint le peintre Camille Pissarro.
Le chapitre le plus retentissant s'écrit au n° 42, où André Breton s'installe en 1922 et ne quittera qu'en 1966 : quarante-quatre ans de pontificat surréaliste, atelier au premier étage puis appartement au fond de la cour. Paul Éluard y tient atelier de 1924 à 1931, Clara Malraux y vient plaider la cause de son mari arrêté, et en 1932 on projette L'affaire est dans le sac, premier film des frères Prévert — un fiasco mémorable qui n'entame pas la légende du lieu.