Karl Josef Becker trat nach der Schulzeit von 1937-1946 am Kölner Dreikönigsgymnasium, dem früheren Jesuitenkollegium, 1948, nach drei Semestern Altphilologie, in die Gesellschaft Jesu ein. Das Vorbild von Kölner Jesuiten, die er während der NS-Zeit kennengelernt hatte, gab den Ausschlag. Drei Jahre später folgte ihm auch sein ältester Bruder Constantin in den Orden, der bereits 2002 starb.
Auf das Noviziat in Eringerfeld folgte das Philosophiestudium an der Ordenshochschule in Pullach (1950-1953), und nach dem Interstiz am Aloisiuskolleg in Bad Godesberg das Theologiestudium an der Philosophisch-Theologischen Hochschule Sankt Georgen in Frankfurt am Main (1955-1959). Dort wurde er am 31. Juli 1958 zum Priester geweiht. Sein Tertiat machte er in Belgien.
Ursprünglich als Lehrer vorgesehen, wurde er dann doch für eine wissenschaftliche Laufbahn bestimmt und begann 1960 sein Doktoratsstudium in Rom und München. 1964 wurde er mit der Arbeit "Die Rechtfertigungslehre nach Domingo de Soto. Das Denken eines Konzilsteilnehmers vor, in und nach Trient" zum Dr. theol. promoviert und lehrte daraufhin Dogmatik an der Philosophisch-Theologischen Hochschule Sankt Georgen. 1969 rief ihn der Generalobere nach Rom, wo er als Professor an der Päpstlichen Universität Gregoriana bis 2003 Dogmatik unterrichtete. Er galt als ausgewiesener Experte für das Zweite Vatikanische Konzil, insbesondere für dessen Aussagen zur Religionsfreiheit und Ökumene. Auch nach seiner Emeritierung betreute er Doktoranden und pflegte Kontakte mit ehemaligen Studenten aus verschiedenen Kontinenten. Ein kleiner Seelsorgskreis traf sich regelmäßig, dessen Teilnehmer ganz unterschiedliche Berufe hatten. Beinahe dreißig Jahre lang kam er jeden Sommer zur Aushilfe nach Hechenberg (Dietramszell).
Neben seiner Professur wurde er 1985 von Papst Johannes Paul II. zum Berater der Kongregation für die Glaubenslehre berufen und arbeitete dort eng mit Joseph Kardinal Ratzinger zusammen. Der damalige Präfekt sprach bei einer Festrede zum 75. Geburtstag von Pater Becker davon, dass Studenten einen Lehrer brauchen, der den Mut zur Wahrheit ohne Schatten habe, der nicht von fortwährendem Zweifel und Ungewissheit befallen sei.
1997 arbeitete er in einer evangelisch-katholischen Expertengruppe mit, die die "Gemeinsame Erklärung zur Rechtfertigungslehre" vorbereitete, die einen Meilenstein im ökumenischen Gespräch darstellt. Zuletzt nahm Pater Becker an den Gesprächen der Kommission "Ecclesia Dei" mit der Pius-Bruderschaft teil.
Am 18. Februar 2012 wurde er von Papst Benedikt XVI. zum Kardinal kreiert. Seine Titelkirche war die im Norden Roms an der Via Cassia gelegene San Giuliano Martire.
Im Sommer 2014 verschlechterte sich sein Gesundheitszustand, während er zur Behandlung im Rheinland war. Mitte Dezember kehrte er auf eigenen Wunsch nach Rom zurück. Ende Januar erhielt er die Sterbesakramente im Krankenhaus der Barmherzigen Brüder. "Quaerere Deum in Omnibus", war sein jesuitischer Wappenspruch. Am frühen Morgen des 10. Februar ist Pater Karl Josef Becker seinem lebendigen Gott begegnet.