Никто и не говорит, что его нужно забирать в какой-то конкретный момент. Идеальный случай -- это когда он сам определяет, когда ему уходить. Но понимать, почему он этого хочет или не хочет и дать ему возможность выбирать самому -- вот что требуется от родителей.
Вот вы, напрмер, можете спросить у ребёнка с утра -- хочет он идти в садик или нет? И когда его оттуда забрать? И сделать так, как он хочет.

А в ситуации, когда ребёнок ни на минуту не хочет оставаться без мамы надо точно так же разбираться и выяснять причины.