お世辞だとか世渡り上手って言ったのは「そんなことない」って否定してほしかったのかもしれないよー。
まわりは距離置くのにあなただけ仲良くしてくる→まぁお世辞だろう、素直に嬉しいけどって感じ。
どうせ嘘だろ、媚び売るな、みたいなマイナスな雰囲気は感じられないし、きちんと上司と部下としての立場をわきまえて言葉遣いや態度がフランクになりすぎないように注意すれば大丈夫だと思うよ