全消しなら
ツール→インターネットオプション→履歴のクリア

個別に消したいなら
履歴出して、カーソル合わせてDelete