김기현, ‘거취 압박’에도 울산행…”대통령과 자주 만나”