Если вы по работе не пересекаетесь - вы вполне реально можете его избегать! Он же не ваш непосредственный начальник. А если он решил, что вы уже включили зеленый свет и только рады его вниманию, идите к своему начальнику отдела и просите помощи.
Просто не допускайте никаких двусмысленных ситуаций! Не стойте рядом, не ходите рядом (если вам в одну сторону, "вспомните", что у вас срочное дело в противоположном направлении), на шутки с сексуальным подтекстом отвечайте вытаращенными глазами, не улыбайтесь!