James Edmund Caan 1941-ben született Bronxban. A Michigani Állami Egyetemen és a Hofstra Egyetemen tanult, ahova többek között Francis Ford Coppolával is együtt járt. Színészetet a New York-i Neighborhood Playhouse színi iskolában hallgatott. Négyszer volt házas, mind a négyszer elvált, öt gyereke született.

Caan a Keresztapa első (1972) és második részén (1974) kívül jelentős szerepet kapott az 1971-es Brian énekében, az 1981-es Az erőszak utcáiban, az 1990-es Tortúrában, valamint a 2014-ben bemutatott Hazárdjátékban is.

A színész a Keresztapát megelőzően is szerepelt már Coppola-filmben, az 1969-es Az esőemberekben, ahol egy agykárosodott stoppost játszott.  Ahogy az évtizedek során karrierje előre haladt, egyre többször alakított erőszakra hajlamos karaktereket.

A Keresztapa meghallgatásán Caan eredetileg Michael szerepére jelentkezett, a Paramount stúdió egy ideig támogatta is, majd a Coppolával kötött kompromisszum eredményeképp Caan alakította az erőszakos Sonnyt, Al Pacino kapta a keresztapa másik fia, Michael szerepét. 

Egyetlen filmet rendezett, a Szem elől tévesztve címűt, melyet 1980-ban mutattak be. Ebben egy munkást alakított, akinek volt felesége férjhez megy egy maffiózóhoz, aki vallomást tesz a rendőrségen, így tanúvédelmi programba kerül. Az asszony gyerekeivel együtt elköltözik, a Caan alakította szereplőnek pedig fogalma sem lesz, hova tűntek a gyerekei.

Emlékezetes alakítása a Tortúra írója, akit látszólag megmentenek egy autóbaleset után, és egy nő az otthonába fogadja lábadozni, azonban kiderül, hogy a megmentő megszállott rajongó, aki mindent megtesz, hogy az írót magánál tartsa. Kathy Batest Oscar-díjjal jutalmazták a nő megformálásáért.