Нужен совет

Муж хочет что бы вместе ходили в зал, я с ребёнком в бассейн а он на тренировку. Дело в том что тогда нужно будить ребёнка в 7 утра. Сейчас мы просыпаемся в 8-9 гуляем час — полтора и снова спим около часа. И на ночной сон ложимся в 22:00. Вы бы будили ребёнка( нам 5 мес )? Как поступить в данной ситуации? Я не хочу его будить! А как мужу обьяснить не знаю, пытаюсь но он говорит что надо будить и пусть привыкает, для меня это издевательство над ребёнком.