Przez wiele lat był nuncjuszem apostolskim w Polsce (1989-2010), a w latach 2010-2014 arcybiskupem metropolitą gnieźnieńskim Prymasem Polski. Był bliskim współpracownikiem św. Jana Pawła II, doprowadził do odtworzenia w 1991 r. Ordynariatu Polowego Wojska Polskiego, negocjował i podpisał w 1993 r. umowę konkordatową między Stolicą Apostolską i Rzeczpospolitą Polską.
Wiadomość o śmierci abp. seniora Józefa Kowalczyka ogłosił w Gnieźnie dzwon św. Wojciech.
