会いに行って強引に話すべきで
それでも頑固の場合は

私も考えるから○○とは距離おくっていいなさい
そして、その距離を置くときは
自分は絶対に浮気しないからって彼に宣言して安心させなさい

彼は何かに怖がってて怒ったりしてるんだよ
その何かというのは女は浮気するという固定概念です。
思い込みというやつですね。
彼の言語、行動をみていて心当たりありませんか？