Caan est né et a grandi dans le Bronx, à New York, en 1940, fils de réfugiés juifs qui avaient fui l’Allemagne en raison de la persécution des nazis. Il a joué au football universitaire à la Michigan State University, où il a étudié l’économie, et il a ensuite été transféré à l’Université Hofstra à New York, mais a été « mordu par le virus du jeu d’acteur » et a quitté l’école pour poursuivre une carrière dans le théâtre.
Il est diplômé de la Neighborhood Playhouse School of Theatre et s’est lancé dans une carrière d’acteur, en commençant par des rôles dans de nombreuses émissions de télévision. Enfin, en 1964, il obtient son premier grand rôle au cinéma dans le thriller de 1964 « Lady in a Cage », mais n’obtiendra pas beaucoup d’attention jusqu’à ce qu’il joue dans « The Rain People », réalisé par Francis Ford Coppola. Coppola embauchera à nouveau Caan pour son rôle le plus célèbre, celui de Don Corleone dans les films « Parrain » de Coppola. Cela lui a valu la plupart de ses nominations aux prix, mais ne lui apporterait malheureusement aucune victoire. Heureusement, le rôle a ouvert de nouvelles opportunités à Caan, et il a ensuite joué dans une multitude de films dans les années 1970, dont « The Gambler » et « Rollerball ».