Prag nämndes i en krönika för första gången 928 e.Kr. Det är emellertid bekant att Pragtrakten var bebodd redan under förhistorisk tid. Dess läge vid Moldau (Vltava) har starkt gynnat dess utveckling. Mot slutet av 500-talet slog sig tjeckerna ner i Böhmen. På 800-talet byggdes två träfästningar, Prag på Moldaus västra strand och Vyšehrad på dess östra.

Borgen och samhället i Hradcany, på andra sidan av Vltava, grundades av den förste Premyslidhärskaren, hertig Borivoj, på 800-talet. Hans sonson Václav blev hertig av Böhmen och lät bygga en kyrka tillägnad S:t Vitus på borgsområdet innan han ca 929 blev mördad av sin egen bror. Václav helgonförklarades senare och blev Tjeckiens skyddshelgon. Han förekommer som "den gode konung Wenceslas" i en engelsk sång, men resten av visan är fritt påhittad och har ingen grund i tjeckisk litteratur.

Efter några decennier hade Prag blivit ett politiskt och ekonomiskt centrum inte endast för människorna i trakten utan för hela Böhmen.

Den första Pragsborgen var en träbyggnad omgiven av en vallgrav, men 1135 lät prins Sobéslav I påbörja ett stort nybyggnadsprogram som fortsattes av hans efterföljare långt in på 1200-talet. Den färdiga fästningen var i romansk stil och hade nybyggda murar och vakttorn och skulle bli säte för de allt inflytelserikare böhmiska kungarna. Därtill fanns ett kloster, en basilika till S:t Göran och ett biskopsresidens.

1157 förstördes träbron över Vltava i samband med en översvämning, men bron ersattes nästan omedelbart med en ny i sten. Denna uppkallades efter Judit som var hustru till hertig Vladislav, den första kungen av Böhmen. Vid det laget var samhället på flodens andra stad, Gamla Staden (Staré Mésto) ett väletablerat centrum för internationell handel och Prag blev Böhmens viktigaste stad.
Arkeologiska undersökningar visar att hela området från Celetná till floden var tätt bebyggt och befolkat. Endast den stora judiska bosättningen var avskild från resten och innesluten av murarna till det getto som numera heter Josefov. Hela staden omgärdades av murar, (påbörjades ca 1230) vilka följde de nuvarande gatorna Národní, Na prikope (Vid vallgraven) och Revolucní.

År 1257 grundade kung Ottokar II ett tredje samhälle, "den nya staden nedanför Pragslottet", nu känt som Malá Strana eller Lillsidan. Staden växte upp runt torget Malostranské námesti, ursprungligen Pragborgens jordvallar. Här byggde man marknadsplatser, butiker och bostadshus för mjölnare, bryggare, advokater, läkare och rika borgare. År 1283 byggde man ett rådhus nära den första S:t Nikolas kyrkan. Det augustinska S:t Thomas klostret vid Letenská är från period, men den mest imponerande religiösa byggnaden var utan tvekan malteserriddarnas befästa kloster.

I Gamla staden (Staré Mésto) slog sig hantverkare och köpmän ner. Lillsidan (Malá Strana) växte fram nedanför borgen på västra stranden från omkring 1250. Kejsare Karl IV lät 1348 påbörja ännu en stadsdel, Nya Staden (Nové Mésto), sydost om Staré Mésto. Där grundades samma år Karlsuniversitetet. Knappa tio år senare var Karlsbron (Karluv Most), den första stenbron över Moldau, färdig att tas i bruk.

Vid universitetet var studenterna uppdelade i fyra nationer; den tjeckiska, den polska, den sachsiska och den bayerska. Motsättningarna mellan de slaviska och germanska studentnationerna blev snart så starka, att drygt 1 000 tyska studenter 1408-1409 begav sig till Leipzig där ett universitet grundades. Jan Hus valdes 1402 till rektor för Karlsuniversitetet och därmed blev Prag centrum för de religionsbråk, som ledde till det 30-åriga kriget.

Detta för Böhmen olyckliga krig började med att handfasta protestanter så brast i respekt för den katolske kejsaren - Ferdinand av Habsburg - att de helt informellt förpassade två kejserliga ämbetsmän ut genom ett i Prags borg högt beläget fönster. Den famösa defenestreringen år 1618 blev inledningen till 30-åriga kriget. Kort före det att kriget slöts genom den Westfaliska freden 1648, intog svenska trupper under ledning av Hans von Königsmarck Prag väster om Moldau. Karlsbron från Mala Strana till Staré Mésto lyckades de svenska trupperna ej ta sig över.

De tog med sig hem från Prag Codex Argenteus - Silverbibeln - en dyrbar gotisk översättning av biskop Wulfilas bibel från 500-talet e.Kr. Silverbibeln skänktes till drottning Christina av den svenska befälhavaren von Königsmarck. Drottningens bibliotekarie avyttrade emellertid för egen räkning bibeln till Holland, varifrån den senare återköptes av G. De la Gardie. Han skänkte den till Uppsala universitetsbibliotek, där den nu finns att beundra.

På det förödande kriget följde en lång fredsperiod, under vilken Prag förlorade sin politiska betydelse till förmån för Wien. Det är paradoxalt att Prag då hade sin arkitektoniska storhetstid. Under de därpå följande 250 åren tillkom de flesta av de monumentalbyggnader, som besökaren idag kan glädja sig åt.

Slutet av 1800-talet och tiden fram till det första världskriget karakteriseras av att det tyska befolkningsskiktet alltmer undanträngdes. 1880 var 14 % av Prags invånare tyskar. 1921 hade siffran sjunkit till 4 %. Staden industrialiserades kraftigt. Genom att det erbjöds rika arbetstillfällen vid fabrikerna, sökte sig många människor från landet till Prag och de stora, trista arbetarstadsdelarna (t. ex. Smíchov) växte upp runt det gamla vackra Prag.

1939 ryckte nazisterna in i Prag och staden upplevde en svår tid. Den 9 maj 1945 kapitulerade de sista tyska trupperna. Efter 1945 har nya, moderna stadsdelar byggts upp. Ett gott exempel på en sådan finner man i stadsdelen Braník omkring Novodvorská.