Актер всю жизнь прожил с любимой женщиной – своей женой. Знакомство будущих супругов состоялось в 1972 году, в театре. Любовь (так звали супругу Жаркова), по профессии была стюардессой. Девушка пришла на спектакль, в котором был задействован Алексей.
После его окончания она вручила цветы именно Жаркову, потому что была впечатлена блестящей его актерской игрой. Молодые люди встречались всего месяц, а затем поженились. Любовь родила двоих детей. Первым родился сын Максим. Он выбрал профессию «следователь милиции».
Затем в семье появилась дочь Анастасия. Девочка выросла, и решила пойти по отцовским стопам. После окончания ВГИКа осталась там работать. Сейчас Анастасии 39 лет. Ее фильмография насчитывает 5 ролей. Актриса замужем за Иваном Забелиным. У супругов есть дочь Александра.
Любовь была домохозяйкой. В актерской среде ходили слухи о том, что Жарков заводит романы с актрисами. Но супруги смогли сохранить брак. Говорили, что о своих увлечениях актер сам признавался жене.
В последние годы жизни у Жаркова были проблемы со здоровьем. В 2012 году он перенес инсульт. Жарков смог восстановить здоровье, и продолжил работать. Он активно снимался в фильмах, радовал театралов новыми ролями. Он жил на даче, в Подмосковье.
Природа и свежий воздух положительно воздействовали на его самочувствие. В 2016 году случился второй сердечный приступ. Врачи старались спасти актера, но им это не удалось. Прошло больше месяца, и 68-летний Жаркова не стало.
