子供が欲しいから離婚するって考えはおかしいでしょうか？

結婚してまだ5か月ですが、えっちは月に1回くらいです。
私は赤ちゃんが欲しくて、旦那さんも欲しいと言ってます。
ただ、月に1回旦那さんの気が向いた時にしかしないので妊娠するのはなかなか難しいと思って焦ってます。
私から言ってもしてはくれないです。

旦那さんとの子供が欲しいというのが1番ですが、私は一人っ子なので親に孫の顔を見せてあげたいという気持ちも大きいです。
あと、旦那さんは3人子供が欲しいらしいんですが、私の年齢ではもう3人は厳しいので、だったら他の人を探したらいいのでは？と思ってしまいます。

真面目に話しても変わらないし、ほとんどは眠いとか言って逃げます。
子供がいなくても幸せな方はたくさんいると思いますが、今の私には考えられません。
こんな理由で離婚を考えるのはおかしいでしょうか？