Lhermitte se narodil 24. listopadu 1952 Rossanne a André Lhermittovým. Jeho matka pocházela ze sefardsko-aškenázské židovské rodiny a otec byl francouzského původu.

Svou kariéru začal jako jeden ze zakládajících členů komediálního souboru Le Splendid. Mezi další zakladatele souboru patřili Patrice Leconte, Josiane Balasko a Michel Blanc, se kterými Lhermitte spolupracoval i na budoucích filmech.

Po svém filmovém debutu ve filmu Bertranda Bliera Les Valseuses (1974) a vedlejší roli ve filmu Que La Fête Commence…(1975) Lhermitte poprvé spolupracoval na filmovém plátně se svými kolegy z Le Splendid, podílel se na scénáři a roli v Leconteho Dovolené po francouzsku (1978). Frašková satira o skupině francouzských turistů na dovolené v Africe se stala ve Francii velmi populární a další rok bylo natočeno její pokračování.

Lhermitte se následně prosadil v hlavní roli v řadě komedií, včetně Les Hommes Preferent les Grosses (1981) s Balaskem, Možná v příštím roce (1981) Jeana-Loupa Huberta s Isabelle Adjani, a Blierově Holka mýho kámoše (1983). Během 80. a 90. let měl hodně nabitý pracovní rozvrh a hrál romantické role v komediích všech možných druhů pro různé režiséry.

Lhermitte také pokračoval ve spolupráci se svými kolegy z Le Splendid, hrál v Leconteově Tangu z roku 1993 jako muž, který má v úmyslu zavraždit svou ženu poté, co ho opustí, a po boku Balaska v Grosse Fatigue, komedii, v níž Michel Blanc režíroval i hrál dvojroli.

V roce 1998 dosáhl Lhermitte jeden ze svých největších úspěchů jako jedna z hvězd Francis Veberova Blbec na večeři. Vtipná komedie která představovala herce ve špičkové formě jako arogantního vydavatele, jehož život vykolejí zdánlivě hloupý muž (Jacques Villeret), kterého pozval na svou víkendovou večeři idiotů. Jeden z nejpopulárnějších filmů, které byly ve Francii uvedeny, byl fenomenálním hitem u kritiků i diváků.

Kromě herectví se Lhermitte věnuje práci scenáristy a producenta. V roce 1994 napsal, produkoval a hrál v komedii pro děti Malý indián ve městě; o tři roky později působil jako producent amerického remaku tohoto filmu – Jungle 2 Jungle.