Сочувствую.
Можно было сказать: "Мы ненадолго". И что ребенку нужен свежий воздух. И с чего это он заболеет, выйдя погулять? И что вам хочется пообщаться своей малой семьей. Но если от бабушки такие слова, то договориться с ней, видимо, трудно. Советую терпеть, молчать, и по возможности поступать по-своему. Ребенок должен видеть, что мама - главная, тогда у него будет чувство защищенности.
Терпения вам и стойкости.