Le Collège militaire royal a été conçu par le colonel John Le Marchant, dont le projet d’établir des écoles pour l’instruction militaire des officiers à High Wycombe et Great Marlow a d’abord rencontré une forte résistance pour des raisons de coût.
Il existait déjà quelques petites académies militaires privées pour les aspirants officiers d’infanterie et de cavalerie, notamment une qui avait été gérée à Chelsea par Lewis Lochée depuis environ 1770 jusqu’à sa liquidation en 1790. Mais aucune d’entre elles n’avait reçu l’approbation officielle du gouvernement britannique.
En 1799, Le Marchant établit une école pour les officiers d’état-major à High Wycombe. En 1801, le Parlement vota une subvention de 30 000 £ pour ses propositions plus ambitieuses et, en 1801, l’école pour officiers d’état-major de High Wycombe devint le département supérieur du nouveau Collège militaire. En 1802, après avoir été nommé premier lieutenant-gouverneur du Collège, Le Marchant ouvrit son département junior dans une grande maison appelée Remnantz dans West Street, Great Marlow, afin de former des élèves officiers pour les régiments d’infanterie et de cavalerie de l’armée britannique et pour les armées de la présidence de l’Inde britannique. 1802 est la même année que la fondation de Saint-Cyr dans l’armée française et de West Point aux États-Unis. Le général Sir William Harcourt a été nommé premier gouverneur du Royal Military College de Great Marlow, poste qu’il a occupé jusqu’en 1811. En 1812, le département junior du collège a quitté Great Marlow pour s’installer dans des bâtiments spécialement conçus par James Wyatt à Sandhurst, où il a été bientôt rejoint par le département senior, qui venait de High Wycombe. En 1858, ce dernier est devenu une institution distincte, le Staff College.
Au début de la Seconde Guerre mondiale, de nombreux élèves-officiers et membres du personnel du Royal Military College ont été mobilisés pour le service actif, mais les bâtiments de Sandhurst sont restés le siège de la 161e unité de formation des élèves-officiers d’infanterie du CMR. En 1942, cette unité déménage à Mons Barracks, Aldershot, et pour le reste de la guerre, le campus de Sandhurst est utilisé comme unité de formation des élèves officiers du Corps blindé royal.
En 1947, une nouvelle Royal Military Academy Sandhurst a été formée sur le site du Royal Military College, fusionnant la Royal Military Academy, Woolwich (qui avait formé des officiers pour l’artillerie royale et le génie royal de 1741 à 1939) et le Royal Military College (1802 à 1942), avec l’objectif de fournir une formation d’officiers pour toutes les armes et services.