L'avenue doit son nom à ce vers quoi elle conduit — ou plutôt à ce qu'elle exhibe : l'Observatoire de Paris, planté au bout de sa perspective comme un décor de théâtre savant. Avant le Second Empire, ce tracé s'appelait avenue de la Pépinière, rappelant les jardins et cultures maraîchères qui couvraient alors la rive gauche méridionale. C'est le décret du 14 août 1866 qui ouvre officiellement l'avenue dans sa forme actuelle, depuis la rue Auguste Comte jusqu'à la rue d'Assas et au boulevard Saint-Michel — un percement haussmannien d'une largeur spectaculaire de 82 mètres sur 800 mètres de long, l'une des plus amples de Paris.
L'histoire commence pourtant bien avant : dès 1623, le n° 42 accueille le grand regard de l'Observatoire, ouvrage hydraulique distribuant l'eau amenée par l'aqueduc d'Arcueil. Puis, en 1667, sous l'impulsion de Jean-Baptiste Colbert et de Louis XIV, Claude Perrault dessine l'Observatoire — bâtiment sans fer, sans bois, pur calcul et pure pierre — qui devient le fief de la famille Cassini pendant plus d'un siècle. C'est là qu'en 1676, le Danois Ole Römer mesure pour la première fois la vitesse de propagation de la lumière en étudiant les satellites de Jupiter. Plus tard, François Arago et Pierre-Simon de Laplace y prolongent cette tradition d'exactitude. En 1795, le Bureau des Longitudes y ancre la définition du système métrique ; en 1792, c'est encore l'Observatoire qui fixe le point de départ du calendrier républicain au méridien de Paris.
Mais l'avenue n'est pas que science. Au n° 43, le maréchal Ney est fusillé en 1815 après les Cent-Jours — la plaine bordant l'Observatoire servait alors de terrain d'exécution militaire. En 1869, Jean-Baptiste Carpeaux travaille au n° 10 sur une statue dont son ciseleur sur bronze est Zéphirin Camélinat, futur communard. Pendant la Semaine sanglante de 1871, les Versaillais installent une batterie de canons au n° 20 pour couvrir le Luxembourg et la rue d'Assas, pendant que l'Observatoire lui-même devient le théâtre d'un massacre de combattants — déserteurs présumés et étrangers engagés dans la Commune exécutés en priorité. La brasserie du n° 22, fréquentée par les journalistes du Père Duchêne, avait pourtant donné le ton d'une avenue résolument populaire et engagée dès 1870.
De cette grande perspective subsistent des traces souterraines et terrestres : des puits de carrier en sous-sol au n° 47, encore en eau, et les disques de bronze marquant au sol le passage du méridien de Paris, posés en 1995 tout au long du tracé — hommage discret à l'astronome Arago et rappel que cette avenue, avant d'être une promenade, fut une ligne imaginaire autour de laquelle le monde entier, un temps, organisait sa géographie.