1962'de Concord, Massachusetts'te doğan Carell, elektrik mühendisi Edwin A. Carell ve hemşire Harriet Theresa Carell (1925–2016) çiftinin 4 çocuğundan en küçüğüydü. Gençlik yıllarında tiyatronun yanında buz hokeyi ve lakros sporlarıyla ilgilendi. Denison Üniversitesi'nde okudu. Sinemada kendini göstermesi, 2003 yapımı Bruce Almighty filminde, Jim Carrey'nin canladırdığı Bruce'un sürekli rekabet halinde olduğu spiker Evan Baxter rolünde oynamasından sonra gerçekleşti. 2005'te başlayan ve 7 sezon boyunca Michael Scott rolüyle başrolde yer aldığı The Office dizisiyle defalarca Emmy ve Altın Küre ödülüne defalarca aday oldu. Ayrıca 2005'te En İyi Erkek Oyuncu dalında Altın Küre kazandı. 2006 yapımı Little Miss Sunshine filmindeki rol arkadaşlarıyla birlikte En İyi Oyuncu Kadrosu dalında Screen Actors Guild Ödülü kazandı. 2007'de Bruce Almighty'nin devamı niteliğindeki Evan Almighty filminde başrolde oynadı. Çılgın Hırsız (Despicable Me) serisinde Gru karakterini seslendirdi.

2014 yapımı Foxcatcher'daki John du Pont rolüyle kariyierinin ilk Oscar adaylığını En İyi Erkek Oyuncu dalında elde etti. 2015'te Brad Pitt, Ryan Gosling, Christian Bale gibi isimlerin oynadığı The Big Short'la bir kez daha Altın Küre'ye aday gösterildi. 2016 yapımı Woody Allen filmi Café Society'de Bobby'nin amcası Phil rolüyle izleyicilerin karşısına çıktı. 2016'da başlayan Angie Tribeca dizisinin yapımcı ve senaristi olan Carell, 2017'de gerçek bir tenis öyküsünden alınan Battle of the Sexes filmindeki eski tenisçi Bobby Riggs rolüyle En İyi Erkek Oyuncu (Komedi-Müzikal) dalında Altın Küre adaylığı elde etti.

1995'den bu yana Nancy Walls Carell ile evlidir ve iki çocukları vardır.