飲みのお誘い(女友達だけの集まり)が頻繁に来て返信に困っています…｡

前に友人の結婚式で集まった時に､皆に話を合わせて｢飲みたいね｣と言ってしまったから誘ってくれてると思うのですが…
私は子供が２人居てまだ小さいし､夜行く事も出来ないし‥仕事もしているのでほぼ予定は合いません｡
このまま断り続けていたら感じ悪いですか(;;)？