Актер всегда был дамским любимцем. Поклонницы старались сделать все возможное, чтобы Жаров уделил им внимание.
Мужчина 4 раза создавал семью. Когда началась Октябрьская революция, Михаил, вместе с коллегами – артистами, в составе большевисткого театра ездил на гастроли (если это можно так назвать в то трудное время). Во время выступлений молодой актер познакомился с Диной. Девушка была старше его на 2 года.
Домой Жаров вернулся женатым. Невестка сначала не понравилась его родителям. Но со временем они начали относиться к Дине, как к дочери. В семье родился сын Евгений. Мальчик вырос, и пошел по отцовским стопам. Он выходил на сцену Ленинградского театра. Этот брак оказался некрепким, и супруги расстались.
Второй женой Жарова стала Людмила Полянская. В этом союзе родилось двое сыновей, но их не стало. После Людмила стала отдаляться от мужа, и у нее началась депрессия. С Людмилой Михаил прожил 14 лет.
Следующей возлюбленной артиста стала Людмила Целиковская. Сильные чувства между актерами возникли во время съемок фильма «Ночной извозчик». Людмила была на 20 лет моложе Жарова, но влюбленных не смущала разница в возрасте.
Как только съемки фильма закончились, Михаил и его возлюбленная сыграли свадьбу. Этот брак просуществовал 7 лет. Целиковская встретила новую любовь, в лице Каро Алабяна, архитектора.
Когда Жаров узнал о том, что его жена полюбила другого, для него это стало ударом. После инсульта артиста отправили в санаторий. Там мужчина влюбился Майю Гельштейн, симпатичную девушку – еврейку.
Жаров познакомился с ее родителями, и попросил руки их дочери. Михаил женился на своей возлюбленной, которой было 19 лет. В этом браке родилось две дочери – Анна и Елизавета. Девочки росли в любви и ласке. Жаров окружил дочерей вниманием. В свободное время гулял с ними в парке, водил в кино, помогал делать уроки. По словам Майи, она не чувствовала, что муж старше на 50 лет.
Анна продолжила актерскую династию. Сейчас актрисе 69 лет. Она около 50 лет своей жизни отдала работе в государственном малом академическом театре. О своем «звездном» отце Анна вспоминает только с хорошей стороны. Жарова не стала такой популярной актрисой, как ее отец.
В последние годы жизни у Жарова были проблемы со здоровьем. Его сердце остановилось в 1981 году, когда ему было 82 года.