Au XIVe siècle, le terrain est appelée motta Papellardorum, c'est-à-dire « motte aux Papelards », en raison des nombreux gravois et détritus accumulés dans cette voirie après la construction de la cathédrale Notre-Dame.

En 1687, un premier jardin, dont l'accès était réservé aux hommes, fait partie de l'enclos des chanoines de la Cathédrale.

En 1868, le préfet Haussmann y fait construire la morgue de la capitale, en remplacement d'un bâtiment plus ancien situé quai du Marché-Neuf.
L'entrée de cette morgue, qui avait l'allure d'un petit temple grec, s'effectuait par le square. On y entrait par trois portes, la salle d’exposition qui se trouvant au milieu était flanquée de chaque côté par les dépendances, le greffe, la salle d’arrivée, le cabinet des magistrats, l’amphithéâtre et la glacière. Rebaptisée « Institut médico-légal de Paris », la morgue parisienne sera transférée à la veille de la Première Guerre mondiale sur le quai de la Rapée dans l'actuel bâtiment en brique conçu par l'architecte Albert Tournaire.

Le square est créé en 1914 le long du quai de l'Archevêché sur l'emplacement de la morgue.

Au sud-ouest du square, un mémorial des Martyrs de la Déportation fut construit de 1954 à 1964.