[цитата} было бы просто намного проще, чтобы он в этот день не вез ребенка к своим родителям или еще куда-то, а спокойно приводил в наш дом и тут с ним общался.

наверное, ключевое слово тут "МНЕ было бы проще" (удобнее)
А ребенку это проще? Думаю, есть смысл спросить у самого ребенка.
Когда мои родители развелись, мне было почти 16, когда родился мой сводный брат - 17.
В моем случае мне было уже достаточно лет, чтобы принять ситуацию такой, какая она есть. Без обид, без подозрений, что кого-то любят больше, с радостью за отца,что он сомг найти свое счастье. А вот как в таком случае быть с более маленькими детьми (которые не смогут в большинстве своем отнестись к этому философски) ... вопрос сложный.