Если Вы не можете разорвать неприятные отношения, то проблема глубже. А так сориентирую: Вы можете просто сказать нет, просто сказать не хочу и ничего не объяснять. Этого более чем достаточно. Если же у Вас оформленный бизнес (ИП, ООО и т.п.), то закон Вас обязывает работать, но и тут есть лазейка: говорите клиенту, что Вы выгорели по этой теме и ничего нового дать не можете. А поскольку работа творческая, то от выгоревшего сотрудника — плохой выхлоп. Клиент тогда отвалится.

Я просто молча в блок ставлю.

повышайте ставку. даже если и не отвалятся, так хоть окупят потрёпанные нервы.