初詣は正月三が日の間に行くべきなんですか？

4日以降はお店も開いてないし、あんまり意味がないみたいに言われたのですが(T_T)