体の相性は回数こなすと良くなる可能性もあると思います。
肌が荒れる、痒みが出る、湿疹などが出来る、など性行ができないような理由が無ければ相性が悪いなんて思わなくて大丈夫だと思います。
もしかすると彼の体に問題があるのかもしれませんが、ただ興奮度？が低い。何か他に気を取られて行為を楽しめない。今の貴方のやり方では彼は気持ちよくない。などの改善しやすい問題なだけでは？