Два папы

С бывшим мужем не живем чуть больше года, за это время ребенок видел его раз 8. Алименты платит. Но общения с сыном не искал особо. Дите по началу ждал его, потом стал забывать. Раз в полтора- два месяца увидит -вспомнит. А так и не вспоминал. Потом у меня появился любимый человек, мы стали жить вместе. Сын постепенно стал называть его папой. Он знает, что есть еще тот папа, который приходит иногда, а есть тот который постоянно рядом. Так вот бывший, бывшая свекровь начали мылить ребенку мозги, что новый папа ему вовсе не папа, а папа только старый. Но того он не видит практически.
Как вы считаете как правильно вести себя и что говорит в данной ситуации? При том что с бывшим я не общаюсь ли слова совсем, только когда он сына берет погулять. А когда приводит, иногда может начать мылить мозг мне, что я все неправильно делаю.