366さん
はっきり言うと、彼のなかのあなたの優先度は低いってことですよね。
友達を大事にしたい気持ちも分かりますが、普通は予定が入ってるなら後からの誘いはどうしても行かなきゃいけない限り、後者を断ると思います。それは人として常識の範囲です。
彼のあなたに対する気持ちを確認してみた方がいいのではないでしょうか？