Széchényi Ferenc 1802 márciusában nyújtotta be folyamodványát a bécsi magyar kancelláriához azt kérve, hogy könyvtárból, kézirat-, metszet-, térkép-, címerkép- és éremanyagból álló gyűjteményét a nemzetnek ajándékozhassa. Az irat a budai helytartótanácshoz került, ez néhány kiegészítéssel visszaküldte a kancelláriához, amely felszólította Széchényit az ajándékozó okirat kiállítására. Az ajándékozó-alapítólevelét november 25-én adta be a bécsi kancelláriához, I. Ferenc másnap aláírta és kiadatta az ünnepélyes királyi oklevélbe foglalt alapító okmányt. Ez az esemény jelentette Magyarország nemzeti könyvtárának születését.

A könyvtár a pesti pálos kolostor épületében 1803. augusztus 20-án nyílt meg, ünnepélyes felavatására 1803. december 10-én került sor, amikor Széchényi személyesen adta át könyvtárát József nádornak. A gyűjtemény mintegy 13 ezer nyomtatott könyvet, 1200-nál több kéziratot, sok száz térképet, címerképet, metszetet és pénzérméket tartalmazott.

A gyűjtemény hamarosan újabb felajánlásokkal kezdett bővülni, az első adományozó, Kindi Mátyás szűcsmester 48 könyvet adott át a Nemzeti Könyvtár számára. A könyvtári dokumentumok mellett a bibliotéka gyűjtőkörébe nem illeszthető nagy mennyiségű tárgyat (érceket, kőzeteket, ásványokat, kézműipari remekeket, ipari és néprajzi objektumokat, fegyvereket, stb.) is ajándékoztak az új intézménynek. Ez utóbbiak számára - József nádor kezdeményezésére - alapította meg a magyar országgyűlés az 1808/VIII. törvénycikkel a Magyar Nemzeti Múzeumot.

A két társintézmény 1846-tól több ütemben költözött be az addigra felépült pesti Múzeum-palotába, és közös főigazgatóság alatt működött. 1949-ben a könyvtár kivált a közös főigazgatóság keretéből, és 1985. április 2-án helyileg is elkülönülve a múzeumtól, felköltözött a Budavári-palota F épületébe.

Széchényi haláláig gyarapította a Nemzeti Könyvtárat, melynek állománya magánszemélyek, közösségek és vételek útján szintén bővült - gyűjteményekkel, könyvtárakkal, könyvgyűjteményekkel, írók, költők, tudósok, politikusok dokumentumaival. A bécsi udvari könyvtárból 1932-ben visszakerült 33 középkori kódex (köztük Anonymus Gesta Hungaroruma, a Képes Krónika, 16 corvina, a Thuróczy-krónika). A 20-21. század folyamán további dokumentumok, 1802 óta nyomdai kötelespéldányok is gazdagítják.

A sokáig adományozónként elkülönülten tárolt dokumentumok egységes gyűjteménnyé formálása, valamint dokumentumtípusok szerinti szétválasztásának és feldolgozásának megindítása Mátray Gábor nevéhez fűződik. A mai rendezett állomány nagysága eléri a 10 millió egységet. A gyűjtemény értékét növeli, hogy számos magyar könyv és folyóirat egyetlen fennmaradt példányát őrzi a könyvtár. 1866-ban létesült a külön olvasóterem (az OSZK nem kölcsönző könyvtár, dokumentumait csak helyben lehet használni), a múlt század közepén pedig önálló hírlapolvasó termet alakítottak ki.

Az intézményben több osztály működik: a különgyűjtemények (köztük a Képes Krónika, Mátyás király könyvtára, a Bibliotheca Corviniana harmincöt kötete, a Himnusz és a Szózat eredeti kézirata, Magyarország első nyomtatott térképe, a Tabula Hungariae, avagy Lázár térképe, az Esterházy-kottaarchívum), a kézirattár, a régi nyomtatványok tára, a színháztörténeti és zeneműtár, a térkép- plakát- és kisnyomtatványtár, a történeti fénykép- és videótár. 

A könyvtár gyarapítását és a bibliográfiai feldolgozást végző osztályok, valamint az állományvédelmet biztosító műhelyek a 20. században jöttek létre. Az OSZK dokumentumainak mikrofilmre mentése a második világháború után kezdődött. A hungaricumok gyűjtése mellett 1952-től a könyvtár feladat lett a központi katalógus létrehozása, a digitális könyvtár és képarchívum megteremtése. 2007 óta nehezen hozzáférhető vagy távoli könyvtárakban őrzött ritkaságok között is lehet válogatni digitális formában. 2020-ban csaknem ezer, 1850 előtt nyomtatott térképet, illetve újkori metszetet tettek digitálisan hozzáférhetővé, 2021 óta több mint 2600 digitalizált hangfelvétel - köztük Blaha Lujzával készült 1902-es hanganyagok - is elérhető online.

2006-ban avatták fel a nemzeti ereklyék bemutatására szolgáló kiállítóteret (elsőként Mátyás király könyvtárának egyik leggazdagabban díszített kódexe, a Philostratus-corvina volt látható, ezt követte az első Magyarországon nyomtatott könyv, a Chronica Hungarorum bemutatása). Az intézmény 2011-ben közösségi oldalakon is megjelent, 2020-ban nyilvánosan is elérhetővé tette webarchívumát. 2022 februárjában adták át az OSZK digitalizáló központját.

Az intézmény évente a kulturális örökség napjai, a múzeumok éjszakája, valamint az augusztus 20-i ünnep alkalmából hagyományosan ingyenes programokkal várja az érdeklődőket, s az állandó és az ideiglenes kiállítások mellett egyéb konferenciákat és szakmai rendezvényeket is szervez. (MTVA Sajtóarchívum)