オズモール　女性・OLのための情報サイト

私は女性です。異動してきた女性が仕事上のことで悩んでいるよう
だったので一度プライベートで飲みに行って、悩んでいる話など聞
いたんです。（同じ部署ですが、あまり関係のない仕事をしている
ので彼女とは話す機会はほとんどありません。）

次の日、彼女自身から「またお願いします」のような内容のメール
をいただきました。社交辞令程度に、「そうですね。ではまた飲み
に行きましょう」のような内容のメールを送信しました。
しばらくしてから、その彼女から飲みに行きましょうとお誘いを受
けました。しかしちょうど仕事が忙しい時期で、その時も、そして
それから先も時間がとれそうになかったので飲みに行くことはお断
りし、なにかあればランチの時にでも・・・と返事をしました。

そうしたら次の日からランチを一緒に食べることになってしまった
んです。私はお弁当を持ってきて、自分の席で食べているのですが
お弁当を取りに席を離れて帰ってくると、私の隣の空いている席に
座って待っているんです。（彼女は、お弁当を広げて待っているこ
ともあります。）
その状態で、「一緒に食べてもいいですか？」と聞かれるので
断るにも断れず、毎日食べているような状態なんです。
かといって、なにか悩みがあるわけではないのです。
ただ世間話を１時間ずっとしているだけなんです。たまに月に一
度、数ヶ月に一度くらいなら構わないのですが、話すことがなくて
沈黙が多いし、個人的な話をするほど仲良くもないので毎日だと精
神的に疲れてしまいます。

本当はお断りしたいのですが、お昼休みにやらないといけないこと
もないし、お昼を食べる私の席の周りは空席ばかりだし、やんわり
と断る理由が見つかりません。
どうしたらいいでしょうか？
もしくは、こう考えれば楽になるかも？というようなことがあれば
教えてください。

飲みに行ったのが、軽率だったのかなと反省してます。