長くなります、すみません。

職場恋愛中の彼とデートしているところを職場のお喋りな方(私の苦手な方)に見られてしまいました。

私は精神障害を持っていて障がい者雇用で働いています。
彼は私の元直属の上司でしたが今は異動になり数キロ離れた場所にある職場で働いています。
お付き合いを始めたのは彼が異動した後からです。

自分で言うのもなんですが障がい者雇用の子と社員が付き合ってるだなんて、お喋りな方には良い話の種なんじゃないかと思っています…。ちなみにその方は私と同じ職場の方で、よく無視されたりするので内緒にしてと頼むのも難しいです。
女性が9割の職場なので噂はあっという間に広まるので正直気が重いです。

彼は「どうせいつかバレたし、なるようにしかならないから気にしなくていい」と言ってくれますが、私は対人関係のストレスに非常に弱いので(なので障がい者雇用でしか働けません)社内の噂になることが不安で仕方ありません。
多分、噂を聞いた人の何人かは私か私の今の上司に真相を聞いてくると思います。

聞かれた場合、はぐらかすのと正直に答えるのと、どっちが良いと思いますか？理由も一緒にお願いします。

彼はバレても構わないから私の納得のいくほうにしたほうが良いと言ってくれています。
私は今はあまり冷静でないので皆さんの回答を見て少し冷静に考えてみようと思って質問しました。