девочки как бы поступили вы.

Если этот человек действительно такой, как Вы описали, то он на все способен. В том  числе он может начать манипулировать Вами, давя на чувство жалости к нему и к дочери, которую Вы «оставляете без отца». Если он записан в графе «отец» в свидетельстве о рождении ребенка, то он еще и судиться может начать, отстаивая права на дочь. Взвесьте сто раз все возможные последствия от того, что этот человек будет каким-то образом причастен к вашей с дочкой жизни.
Что же до чувства вины перед дочерью… Думается мне, Вы не оставляете ее без отца, а как раз даете ей шанс однажды обрести нормального папу. Позже Вы, возможно, расскажете ей правду, когда эта история отболит и отойдет в прошлое. Только перед девочкой не обвиняйте ее настоящего отца ни в чем, хоть он и заслуживает порицания. Дело в том, что для каждого из нас наши родители, какие бы они ни были, это данность. Если говорить ребенку «Твой отец – грязь», это все равно что говорить ему самому «Ты сам грязь, ты вырос из грязи».
Мне кажется, Ваше душевное спокойствие и здоровая атмосфера в доме – это лучшее, что Вы можете сейчас дать своему ребенку. И это надо защищать, не поддаваясь ложному чувству вины.

Ни в коем случае – чтобы он вам мозг выносил и ребетенка терроризировал? 

Я бы лучше решила никогда в жизни с этим человеком вообще не пересекаться. Однозначно.