どちらか片方だけでも連絡先を知っていれば、その表示が出ちゃいます

一応設定で、
「自分の電話番号を知っている人の友達リストに、自分を自動で追加されないようにする」
「自分の友達リストの友達追加は、電話帳から自動ではなく、手動で相手のID入力でのみできるようにする」
などできますから、もし特定の人としかしない場合は電話帳からの友達リストを取得はせず、設定を色々いじってみるのをおすすめします。