Najpre je imala dva razreda, smeštena u iznajmljenoj privatnoj kući u Ulici Jug Bogdanovoj 26. Tri godine docnije broj razreda je povećan na pet.
Kroz školu je prošla plejada istaknutih ličnosti srpske istorije, nauke, umetnosti i kulture, uključujući Slobodana Jovanovića, kralja Petra I Karađorđevića, Živojina Mišića, Stepu Stepanovića, Gavrila Principa, Milana Stojadinovića, Jovana Skerlića, Stojana Novakovića, Milana Milićevića, Petra Kočića, Branu Petronijevića, Veselina Čajkanovića, Aleksandra Belića, Milovana Glišića.
Nekoliko prvih decenija profesori su najčesće bili Srbi iz Austrije, najvećim delom današnje Vojvodine.
O jednom od njenih legendarnih profesora Kosti Vujiću, i čuvenoj generaciji gimnazijalaca u kojoj su se, između ostalih, nalazili i Jovan Cvijić, Mihailo Petrović Alas, Milorad Mitrović, Jaša Prodanović, Pavle Popović...Milovan Vitezović napisao je izuzetno toplo literarno delo "Šešir profesora Vujića".
Vujić je rođen u Zemunu i osnovni predmet koji je predavao je bio nemački.
U školi se i danas čuvaju uspomene na Lazu Lazarevića, Stevana Sremca, Stevana Mokranjca, Dragutina Dimitrijevića Apisa, Kornelija Stankovića, Aleksandra Deroka, Momčila Nastasijevića, Mošu Pijade, Svetozara Gligorića i druge njene učenike i nastavnike.
Škola je idućih pola veka nosila ime Gimnazija beogradska, a promenila je u Prva beogradska gimnazija, kada se broj školskih ustanova te vrste povećao.
Posle Prvog svetskog rata dobila je ime Prva muška realna gimnazija u Beogradu. Kada je krajem pedesetih godina 20. veka spojena sa Četvrtom ženskom gimnazijom, ponovo je dobila naziv Prva beogradska.
Potom je nosila ime po jednom od znamenitih učenika "Moša Pijade", a tradicionalni naziv Prva beogradska gimnazija vraćen je 1990. godine.
Posle Jug Bogdanove ulice, gimnazija se izvesno vreme nalazila nedaleko od Saborne crkve, u Konaku kneginje Ljubice i obližnjoj zgradi u kojoj je sada Fakultet primenjenih umetnosti.
Od 1863. godine gimanazija je bila smeštena, poput Velike škole i niza drugih ustanova, u zdanju kapetana Miše Anastasijevića, gde se sada nalazi Rektorat Univerziteta u Beogradu (i pojedini segmenti Filozofskog fakulteta).
Pošto je ta zgrada postala pretesna, gimnazijalci su nastavu pohađali na tri adrese, do 1905. kada se škola uselila u zakupljeni Dom Svetog Save u Ulici cara Dušana.
Izgradnja posebne školske zgrade u kojoj se Prva beogradska gimnazija nalazi i danas, započela je 1936. godine. Đaci su se u nju uselili aprila 1938.
