相談させて下さい。

私は二人の乳幼児がいる母親です。今月に義兄の法事があります。ですが義姉(義兄の嫁)から「小さい子供が二人もいるんだし大変だろうから来なくていいよ、でももし来るんだったら連絡してね」と言われました。
私は来なくていいよって言われたので逆に向こうも私と子供たちがいると迷惑なのかと思い遠慮しようと思いました。しかし旦那にそう伝えると「薄情なやつだな」と言われてしまいました。わたしは薄情ですか？来なくてもいいよと言われなければ行くつもりでしたが、義姉の口調が来ないでと言っているように私は感じてしまい出した結論でした。