På ”Den frie kongelige Skole i Soer”, skole og opdragelsesanstalt for 30 adelige og 30 ikke-adelige, som var stiftet af Fr. II i 1586 efter ophævelsen af det gamle katolske Sorø Kloster ved reformationen i Danmark i 1536 og klosterets overgang til kronen (kongen), tilknyttede Chr. IV et Ridderligt Akademi i 1623.
Kroen på Store Gaden skulle anvendes til akademiets gæster, idet piger og de fleste andre ikke måtte komme ind på selve akademiets grund.
Akademiet i Sorø skulle forebygge, at de unge adelige ikke foretog de dyre uddannelses-rejser til udlandet. Det ophørte i 1665, og skolen sluttede i 1737.
I 1747 begyndte undervisningen igen med et 2. akademi oprettet af Fr. V. Dette lukkede i 1794.
I 1822 genoprettede Fr. VI skolen, og der etableredes i 1826 et 3. akademi, som dog ophørte i 1849, fordi der var for få elever. Sorø Akademis Lærde Skole overtog da hele huset. N. F. S. Grundtvig, H. C. Andersen og Bertel Thorvaldsen besøgte stedet.
Fra 1822 var vores kendte salmedigter B. S. Ingemann (1789-1862) lektor i dansk sprog og litteratur på Sorø Akademi. Med sin hustru Lucie Marie Mandix (1792-1868) boede han i Ingemanns Hus med udsigt over søen og den lille ø, som kaldes Ingemanns Ø. I Sorø skrev han 6 historiske middelalderromaner, som blev meget læst. Han skrev mange dejlige salmer, som stadig synges overalt i Danmark. "I østen stiger solen op", "Dejlig er jorden" og "Julen har bragt velsignet bud" kender de fleste danskere.
Ægteparret ligger begravet lige øst for Sorø Klosterkirkes kor. Fra gravstedet med H.W. Bissens gravminde kan man se Ingemanns Hus.
Skolen med gymnasiet blev overtaget af staten i 1958, da klostergodset ikke mere kunne klare udgifterne alene. Stiftelsen Sorø Akademi, som fra 1992 er en privat erhvervsdri-
vende fond, stiller dog fortsat bygninger m.v. til rådighed for Sorø Akademis Skole med gymnasium og 10. kl. for kostelever.
Stiftelsens administration har til huse i Vænget, den store hvide villa, som tidligere var amtmandsbolig. I samme hus er der museum for Hauchs Physiske Cabinet, som er en unik samling af fysiske instrumenter.
Som nabo til Vænget ligger "Villereden", der fra 1925 er ministerbolig med søudsigt for Danmarks undervisningsminister.
Hele området er en guldgrube af historie. Den 7. oktober 1866 fandt landets første cricketkamp sted på Akademiet (Sorø mod København). Samme dag spilledes der dog også en kamp i Ålborg.
Den første fodboldkamp i Danmark blev spillet her i 1879. Bolden var kommet fra England. Samme år spillede KB en kamp i Dyrehaven ved Klampenborg.
Ved siden af Danmarks ældst beboede hus Klosterporten ligger Boldhuset fra 1628, hvor man kan besøge biblioteket Bibliotheca Academiae Soranae med 80.000 bind.
Øst for kirken ligger det imponerende Mærsk Mc-Kinney Møller Videncenter, et center for naturvidenskab, indviet den 5. august 2009.