Jack se narodil jako John Joseph Nicholson v Neptune v New Jersey. Po absolvování střední školy se v 17-ti letech přesunul do Los Angeles se záměrem studovat vysokou školu, ale tento záměr se mu nepodařilo uskutečnit. Jelikož se mu na západním pobřeží líbilo sehnal si práci poslíčka pro filmové studio Metro-Goldwyn-Mayer. Brzy nato začal studovat herectví s místní hereckou skupinou Players Ring Theater, se kterou vystupoval na jevištích a občas v televizi.

Díky zájmu o Jacka producentem Rogerem Cormanem uskutečnil svůj filmový debut v thrilleru "The Cry Baby Killer" (1958). V následujících několika letech se objevoval v nízko rozpočtových filmech jako byla parodie na horory Malý obchod hrůzy "The Little Shop of Horrors", kde ztvárnil roli masochistického pacienta potěšeně vřeštícího pod zubní vrtačkou. V roce 1963 si vyzkoušel práci scénáristy ve filmu "Thunder Island" a spolurežiséra v horroru Hrůza "The Terror", kde si zahrál důstojníka Napoleonovy armády Andrea Duvaliera. Další film pro který napsal scénář byl "The Trip" v hlavních rolích si zahráli Peter Fonda a Dennis Hopper.

Jako by mu to nestačilo, tak pro komedii "Head" (1968) napsal scénář byl spoluproducentem. Za roli právníka v úspěšném dobrodružném filmu Bezstarostná jízda "Easy Rider" (1969) získal svou první nominaci na Oscara za vedlejší roli. Díky tomuto ocenění se z Jacka stala velmi uznávaná Hollywoodská osobnost.

Další nominaci získává za hlavní roli soukromého detektiva v thrilleru Čínská čtvrť "Chinatown" (1974). Během té doby měl Jack poměr s Anjelicou, dcerou spoluherce z Čínské čtvrti Johna Hustona. Anjelica je herečka a třetí generace ze slavné Hollywooské rodiny. Není tedy divu, že se brzy stali nejvíce mediálně pronásledovaným párem v Hollywoodu.

Jackovi se poprvé podařilo získat Oscara pro nejlepšího herce za roli trestance, jenž předstírá šílenství a chová se tak, aby byl místo do vězení poslán mezi duševně postižené. Psychologický thriller Miloše Formana Přelet nad kukaččím hnízdem "One Flew Over the Cuckoo's Nest" (1975) vydělal více než 60 milionů dolarů a získal 5 Oscarů (nejlepší snímek, nejlepší herec, nejlepší herečka - Louise Fletcher, nejlepší režie a nejlepší scénář). Tento film potvrdil Jackavu vizitku jednoho z nejpopulárnějších herců 70 tých let.

Jack účinkoval s Marlonem Brandonem ve westernu Zastavení na Missouri "The Missouri Breaks", navzdory jejich slávě se film nestal příliš úspěšným. Ani jeho další režijní snaha "Goin' South" (1978) si nezískala patřičnou pozornost. Obrat nastal v horroru Stanleye Kubrickse Osvícení "The Shining" (1980) a také ve filmu "The Postman Always Rings Twice"Pošťák zvoní vždy dvakrát (1981), jenž se staly velmi úspěšnými.

Za vedlejší roli ve filmu Rudí "Reds" (1981) získal další nominaci na Oscara. V roce 1983 se mu podařilo získat druhého Oskara pro nejlepšího herce ve vedlejší roli v komedii Cena za něžnost "Terms of Endearment". Film jenž vypráví o pozoruhodném příběhu dvou blízkých lidí - matky a dcery. O dva roky později získává další nominaci na Oskara za roli ve filmu Čest rodiny Prizziů "Prizzi's Honor". Jack Nicholson, nájemný vrah, se zamiluje do krásné Kathleen Turner, se kterou se ožení. Manželská idylka skončí, když se dozví, že jeho okouzlující manželka se živí stejným řemeslem jako on.

V hvězdně obsazeném a veleúspěšném thrilleru Čarodějky z Eastwicku "The Witches of Eastwick" si Jack zahrál po boku Cher, Susan Sarandon a Michelle Pfeiffer. Za svou roli ďábla získal cenu newyorských a losangeleských filmových kritiků pro nejlepšího herce v hlavní roli. Škodolibého zloducha po boku Michaela Keatona a Kim Basinger si zahrál v obrovském hitu "Batman". Fantastický film o dobrodružstvích maskovaného ochránce zákona objevující se vždy tam, kde je páchána nějaká nepravost.

Jack se vrací jako soukromé očko Jake Gittes v pokračování "Čínské čtvrti" Dva Jakeové "The Two Jakes" (1990) se svou typickou atmosférou, která vítězí jako ojedinělé pokračování, které ještě předstihlo skvělý originál. Zde Jack nejen zazářil jako skvělý herec, ale jako kvalitní režisér. Po uboze přijaté komedii Když má muž problémy "Man Trouble" (1992) si zahrál v úspěšném dramatu Pár správných chlapů "A Few Good Men" (1992). Za svou vedlejší roli po boku Toma Cruise a Demi Moore získal další nominaci na Oskara.

S herečkou Michelle Pfeiffer se Jack opět setkal v thrilleru Vlk "Wolf" (1994). O rok později si zahrál stárnoucí klenotníka Freddyho Gale v dramatu Křižovatka smrti "The Crossing Guard", který čeká na svou pomstu. V roce 1996 se Jack objevil v roli presidenta USA ve sci-fi komedii Mars útočí "Mars Attacks!" po boku Glenn Closeové a Pierce Brosnana. Film v němž se po zuby ozbrojení Marťané snaží zabrat celou planetu. 

Jakcksova sláva opět vyletěla do závratných výšin díky hlavní roli v komedii Lepší už to nebude "As Good As It Gets" (1997) a především díky zisku třetího Oscara pro nejlepšího herce. V komedii si zahrál s Helen Hunt, která za svůj výkon získala Oscara pro nejlepší herečku. Oba za své výkony ještě získali ocenění Zlatý Glóbu. 

V roce 2001 se Jack objevil v dramatu Přísaha "The Pledge", v němž si zahrál nevadského detektiva Jerryho Blacka. O rok později v roli Warren Schmidt v komedii O Schmidtovi "About Schmidt".

Vedle jeho impozantní herecké kariéře se vyvíjel také jeho osobní život. V roce 1974 zjistil, že žena o které si myslel, že je jeho matka Ethel May Nicholson byla jeho babička. Jeho matka June Nicholson vystupovala jako jeho starší sestra, která však v roce 1960 zemřela na rakovinu ve věku 43 let.

Jack byl také známý pro jeho divoký a dobrodružný život. Jeho bouřlivý 17 let dlouhý vztah s Huston skončil v roce 1989, když se Huston dozvěděla, že Jack je otcem dítěte s Rebeccou Broussard. Bývalá servírka, která se objevila ve filmu Dva Jackové "The Two Jakes". S Rebeccou má Jack Lorraine (1990) a Raymonda (1992). Jack má ještě dceru Jennifer ze čtyřletého vztahu s herečkou Sandrou Knight během šedesátých let. V roce 1999 začal randit s herečkou Larou Flynn Boyle. V současné době žije v Los Angeles.