на ночь к папе

Девочки! Хочу послушать мнение. Долгое время при совместной жизни с бывшим мужем, дети папу не видели. Точнее речь даже о сыне, так как дочке было полгода, когда мы разошлись и для нее все происходящее в порядке вещей. Так вот. Папа уходил, сын еще спал, приходил-дети уже спали. Время совсем им не уделял. После развода папа приходит каждую неделю гуляет с ними 2-3 часа, водит их куда-нибудь. Сын все, естественно, помнит. Первое время удивлялся, что папа гуляет с ними, вроде привык. Теперь я задалась вопрос оставить ли их на ночь ему. Папа вроде не против. Но у меня страх того, как сын воспримет это. Переехали мы и в той квартире почти полгода не были и даже около дома не ходили. Сын ни разу туда и не просился. Было пару раз, что говорил, что хочет все вместе жить. Боюсь, что воспоминания в том же месте ранят его и опять будет переживать. Если бы переехал папа, я бы так не гнала. Сначала планировала через годик оставить, но ведь оставляют другие и ничего не ждут. В общем, понимаю, что многие скажут, что гоню, но хочется послушать конкретно почему. Разложите по полочкам права я или нет с аргументами. Всем спасибо)