Ребенок хочет постоянно быть у бабушки

Начнем с того, что сын у меня не совсем нормотипичный, остались черты РАС.
Когда развелась с бывшим супругом, я осталась одна с ипотекой и двумя детьми на руках. Тогда, моя мама очень помогла, она сидела с детьми пока я работала. В 1.7 мы начали ездить на реабилитации в СПБ, постоянно ходить к логопедам и дефектологам. Бесконечные лекарства, уколы. Муж первые года два платил по алиментам 4т. на двоих. Свекровь приезжала раз в год поздравить с праздниками. И вот когда дети подросли, свекровь летом в отпуск брала их в деревню.
А когда не стало в её городе подходящей работы, переехали со свекром в наш городок. Сначала сюсюкались с ними, потыкали капризам и даже иногда водили к педагогу. Потом они начали оформлять ипотеку и было уже не до внуков. То возьмут, то нет. То пообещают забрать из сада пока я работаю, а потом утром откажутся под предлогом возможности их подработки.
Тут с октября от них ни слуха ни духа, вот объявились с претензиями, что я общаться не хочу потому что якобы замуж вышла. Мне смешно, потому что общение прекратилось, когда не забрала , как обещала детей, а я искала целый вечер кто сможет, это до моего замужества было. Я даже и не ругалась с ними. Мой вопрос был один:"Как можно договориться пообещать и в последнюю минуту сказать что вам подработку предложили и вы решили согласиться, хотя сначала пообещали нам?" и всё она сказала "да я плохая" положила трубку и исчезла. Я тоже обидчивая и морально уставшая, решила не навязываться и сами мы естественно не звонили. Тут лето, у них отпуск намечается, объявились. Вчера взяли в гости на день. Сказала, как хорошо с ними стало, сын уже хорошо говорит и пишет. Я сказала , да упорный ежедневный труд с педагогом и дома. Я на больничных была больше 2 месяцев и постоянно занималась.
Гости вчера подходили к концу и сын захотел остаться с ночёвкой, но свекровь сказала, что я не разрешаю. Он кричал придя, что всё из-за меня, я плохая и не разрешаю. Я говорю, пожалуйста, ночуй, я не против. Она сказала мне, что не может оставить на ночь, ей на работу. Я попросила так и сказать , но она ушла не объяснив сыну ничего. Для него я плохая, не разрешаю с ними общаться ?. Я честно расстроилась, может и не права где-то, но мы все разные и не идеальные. Для меня они чужие люди, это для детей они бабушка и дедушка хоть и никудышние. Боюсь, что настраивать будут против. Боюсь, что любить меня не будет. Вот эти страхи меня съедают. Дочка спокойно к ним относится, с настороженностью к ним идет, там повеселиться и радостно домой. Они её меньше любят, чем сына (раньше думали что она не их, бывший супруг кричал, что не может быть, что его. А потом дочка родилась вылитая свекровь, один в один)