Проблема: младший брат и собственная семья

В общем, мой младший брат хочет всегда проводить со мной время, ночевать у меня, гулять с нами и всегда обижается, если не разрешаю:( мне от этого тоже нелегко, но у меня своя семья теперь и нам хочется погулять втроем (я, дочь и муж), в конце концов, он хочет ночевать КАЖДЫЕ выходные, хотя мы ведь любовью должны заниматься, а при нем уже не можем. Я не могу ему отказать из-за того, что понимаю как ему обидно, а мужа это уже раздражает.
Он всегда мне говорит со следами на глазах мол щас бы жили вместе, в одной комнате, и тд, что с этим поделать, я совсем не знаю решения подобной ситуации…