プライベートの空間ですから、断りたい気持ちわかります。きょうだいの年齢が離れてたり性別が違ったり、自分の貴重な休みの日なら尚のこと。

僕はふつうにやんわり断ってますよ＠
また今度遊びに行くから待っててね〜とか、友だちが来るから〜とか。
自分の時間大切にしたいのは誰でも同じなので、年一回程度招くとかなら、そのままで良いんじゃないかなと思いました。