Lorsque Philippe Auguste, partant pour la croisade, décide entre 1190 et 1209 la construction d'un rempart protégeant sa capitale, il lui fait traverser la paroisse Saint-Paul.Cette enceinte, dont un spectaculaire fragment domine depuis 1946 le terrain de sport du lycée, ne sera jamais détruite mais littéralement absorbée par le quartier qui se développe autour de l'église Saint-Paul-des-champs.
La façade du lycée donnant sur la cour d'honneur garde le plan et l'alternance de murs et de tours : l'escalier d'honneur est construit sur l'emplacement d'une de ces tours.
En 1580, l'Hôtel de La Rochepot est mis à leur disposition pour en faire leur « université » et la demeure des profès(*) : la Maison professe de la rue Saint-Antoine est née. Ils édifient une chapelle dédiée à Saint-Louis, qui sera remplacée dans la première moitié du XVIIè siècle par un des rares exemples parisiens du baroque jésuite, inspiré de la Chiesa del Gesù de Rome : l'église Saint-Louis qui deviendra Saint-Paul Saint-Louis lors de la démolition de l'église paroissiale Saint-Paul des Champs en 1799).
(*) on désigne par « profès » le jésuite qui ajoute à ses vœux celui d'aller là où le pape l'envoie et de renoncer à toute fonction ecclésiastique.
Dans son œuvre administrative, la révolution crée un cycle d'études laïc inspiré des théories des Lumières, qui exclut la religion et la morale, permet aux élèves le choix de leur cours, inclut les sciences dans les cursus et ne fait plus des langues anciennes le pivot de l'éducation. Cette liberté n'est pas du goût de tous et la première querelle des anciens et des modernes de « l'éducation nationale » éclate.
Il serait vain de citer le nom de plus de 80 000 élèves ayant usé les bancs du lycée. Ne citons que quelques noms fameux : Gérard de Nerval, Léon Blum, Jules Renard, Gustave Doré, Théophile Gauthier… et Honoré de Balzac qui a fait au lycée l'honneur d'y être un élève médiocre.
Après la vie mouvementée de la Maison Professe, celle du lycée Charlemagne sera intimement liée à l'histoire. Les révolutions et les révoltes des « trois glorieuses » de 1830, plus récemment « mai 1968 », ont fait vibrer les couloirs de l'établissement. Les guerres ont fauché de très nombreux élèves ou anciens élèves.
Le lycée Charlemagne, proche du quartier juif du Marais, a payé un lourd tribut durant les années noires de l'occupation et de la collaboration, lorsque triomphaient la haine, l'exclusion et la mort. Dans l'escalier d'honneur une plaque commémore le nom de 19 innocents qui n'avaient commis qu'un crime : être nés juifs.