Az esztergomi érsekek a 10. század legvégétől, a főegyházmegye alapításától kezdve Magyarország prímásaiként a hazai egyházi hierarchia csúcsán álltak. Titulusaik közé tartozott 1394-től a született apostoli követi cím, 1714-től pedig a birodalmi hercegi rang is. Szent Istvántól kezdve ők koronázták a magyar uralkodókat, továbbá főkancellárként, Esztergom vármegye örökös főispánjaként, a királyi tanács, a Helytartótanács, a Hétszemélyes tábla tagjaként, sőt bizonyos időszakokban helytartóként az ország világi kormányzatában és belpolitikai életében is meghatározó szerepet játszottak. Maga a főegyházmegye is hatalmas kiterjedésű volt. A középkor folyamán – a viszonylag kis terjedelmű nyitrai egyházmegye kivételével – felölelte az ország egész északnyugati részét, a Dunától északra és a Morvától keletre egészen a Szepességig és Gömörig. Ezenkívül az érsekséghez tartozott még számos exempt (a területileg illetékes püspök joghatósága alól kivett) plébánia és kolostor is Magyarország egész területén, Budától Nagyszebenig.
A püspöki székhely, Esztergom a középkorban Magyarország legfontosabb egyházi központja volt. A városban a főszékesegyházi káptalan mellett még három társaskáptalan, kilenc plébánia és három szerzeteskolostor működött. 1249-ben IV. Béla az addigi királyi várat is végleg az érsekségnek adományozta. A főegyházmegye területén Szepesvár alatt és Pozsonyban szintén társaskáptalanok működtek, sőt Pozsonyban Vitéz János érsek (1465–1472) 1467-ben rövidéletű egyetemet is alapított Academia Istropolitana néven.
Mikor 1543-ban az oszmán csapatok elfoglalták Esztergomot, a káptalan és az érsek Nagyszombatba települtek, amely a következő három évszázadban Esztergom szerepét vette át. Ott alapította például Oláh Miklós érsek (1553–1568) 1561-ben az első magyarországi jezsuita kollégiumot, majd 1566-ban az első szemináriumot, ott tartották a 16-17. században az egyházmegyei és egyháztartományi zsinatokat, és ott jelentek meg 1578-tól a katolikus megújulás első magyar nyomtatványai a Telegdi Miklós apostoli adminisztrátor (1573–1586) által létrehozott nyomdában. A 17. századtól az érsekek székhelye inkább az ország közigazgatási és politikai központjában, Pozsonyban volt, de a káptalani és iskolai központ továbbra is Nagyszombat maradt. Pázmány Péter érsek (1616–1637) 1635-ben a jezsuita kollégiumot egyetemmé fejlesztette, amelyhez 1667-től jogi, 1769-től pedig orvosi kar csatlakozott. A 17. század második felétől három szeminárium is működött a városban: az Oláh által létrehozott és Pázmány által továbbfejlesztett Stephaneum, a Lósy Imre (1637–1642), Lippay György (1642–1666) érsekek és mások alapítványaiból működő Collegium Rubrorum (Seminarium Generale, a későbbi pesti Központi Szeminárium), valamint a Szelepcsényi György érsek (1666–1685) alapította Marianum. Ezeken felül Pázmány 1619-ben Bécsben (Pazmaneum), Lósy Imre 1642-ben Pozsonyban (Emericanum), Széchényi György (1685–1695) pedig 1687-ben a fölszabadult Budán alapított szemináriumokat, utóbbit jezsuita kollégiummal és konviktussal együtt.
1683-ban Esztergom is végleg fölszabadult az oszmán uralom alól, de a 19. század elejéig a káptalan továbbra Nagyszombatban működött, a prímások pedig elsősorban pozsonyi palotájukban laktak. Többük jelentősen hozzájárult Pozsony fejlesztéséhez. Esterházy Imre (1725–1745) például több templomot építtetett, az ottani reprezentatív érseki palota végleges formáját pedig Batthyány József (1776–1799) alakíttatta ki 1778 és 1781 között. Barkóczi Ferenc prímás (1761–1765) viszont 1763-ban komolyan megkezdte érsekség esztergomi székhelyének újjáépítését, de haláláig csak az épületek alapfalai készültek el.
Mivel az egyházmegye nagysága lelkipásztori szempontból is nehézségeket okozott, már Pázmány alatt tervezték területén újabb püspökségek fölállítását. Ezt végül Mária Terézia királynő tette meg, aki 1776-ban fölállította a besztercebányai, rozsnyói és szepesi püspökségeket. Egyidejűleg megszüntették az exemptiók túlnyomó részét is, de Esztergom még így is Európa egyik legnagyobb egyházmegyéje maradt.
1820-ban Rudnay Sándor érsek (1819–1831) elrendelte a káptalan és az érseki hivatal visszatérését Esztergomba, ahol 1822-ben Packh János terve szerint új székesegyház alapkövét tették le, amelyet Hild József módosított terve nyomán, több évtizedes munka után 1856-ban Scitovszky János (1849–1866) szentelt föl, de csak Simor János (1867–1891) alatt fejeztek be. A székesegyház építése mellett, ugyancsak Hild tervei szerint kezdték és a szeminárium és a kanonoki házak építését. 1842-ben nyílt meg az esztergomi érseki tanítóképző. Az addig Nagyszombatban működő két szeminárium közül a Stephaneum 1865-ben, a Marianum (a kisszeminárium) pedig 1885-ben költözött az új épületbe, amikor a kettő egyesült is. (A Stephaneum már 1850-től Esztergomban, a vízivárosi ferences zárdában működött). Az új prímási székhelyen 1853-ban készült el a Főszékesegyházi Könyvtár új épülete, 1882-re pedig a jezsuita kollégium helyén Simor érsek új érseki palotát építtetett, amely máig magába foglalja az általa összegyűjtött Keresztény Múzeumot is.
A 19. század második felétől új feladatot jelentett az egyházmegye számára a rohamosan fejlődő Budapest pasztorációja, ahol számos új plébánia és templom – köztük a lipótvárosi Szt. István bazilika – 1892-ben pedig önálló helynökség jött létre. 1918/1919-ben viszont az érsekek elvesztették egyházmegyéjük túlnyomó részét, ugyanis a trianoni béke következtében a Dunától és Ipolytól északra fekvő terület az országhatáron kívülre került. A területen eleinte apostoli adminisztratúra működött Nagyszombat székhellyel, majd ez 1937-től önálló érsekség lett.
A 20. század érsekei közül Serédi Jusztinián (1928–1945) elsősorban egyházjogászi tevékenységével alkotott maradandót, utóda, Mindszenty József (1945–1973) pedig a kommunista diktatúra elleni harc jelképévé vált. 1948-ban a kommunista hatóságok letartoztatták, koncepciós perben halálra ítélték, de kegyelmet kapott. 1956-ban kiszabadult a börtönből, majd a budapesti amerikai követségre menekült, ahonnét csak 1971-ben távozhatott nyugatra. (Hagyatékát a Magyarországi Mindszenty Levéltár őrzi.) Helyette az egyházmegyét apostoli kormányzók irányították. Csak Mindszenty fölmentése után kerülhetett sor Lékai László érsek (1976–1986) kinevezésére, aki a „puhuló” diktatúra lehetőségeit kihasználva újított meg és hozott létre új, kisebb egyházi intézményeket (templomok, leányfalui lelkigyakorlatos ház, farkasréti szeretetotthon). A kommunista rendszer megszűnte után azonban a főegyházmegye lehetőségei alaposan megváltoztak. Számos iskola és intézmény került vissza egyházi kézbe, vagy indult újra, köztük Esztergomban a szeminárium régi épülete és a Vitéz János Tanítóképző Főiskola.
1993-ban került sor az egyházmegye határainak újabb rendezésére II. János Pál pápa Hungarorum gens kezdetű apostoli konstituciójával. A csonka egyházmegye lemondott szigetközi és nógrádi plébániáiról, viszont megkapta az időközben megnövekedett Budapest teljes területét, valamint az Esztergom és Budapest közötti területeket. Ezzel együtt a főegyházmegye nevébe is fölvette az esztergomi mellé a „budapesti” elnevezést, központja pedig a budai érseki palotába költözött.