職場の男性から告白されたのですが断ったところ、「気を持たせたお前が悪い」と本人からも周りの人からも責められています。

職場の男性から告白されたのですが断ったところ、気を持たせたお前が悪い、と本人からも周りの人からも責められています。
その男性は私より年上ですが入職したのは私より後で、立場としては同じヒラ同士です。
体を使う仕事で、その男性と二人で作業する機会も今まで多々ありました。
ですが私達は固定のペアというわけではありませんし、二人でする作業が毎日当たるわけでもありません。
その作業は一日の業務の中でもかなり忙しく、仕事終わりはぐったりするようなもので、ある日の業務後、その男性が私にペットボトルのミルクティーをご馳走してくれました。
そのペアでする業務後のジュースの奢り合いのようなものは、その男性とだけではなく同性同士でもよくある事だったので、深く考えずにいただきました。
その日から一週間後くらいにまたその男性とペアで業務にあたっていたので、今度は私からペットボトルのコーヒーを渡しました。
その際、変な沈黙の後「こんなことされたら俺、お前の事好きになっちゃうかも」と言われ、私は「前回いただいたミルクティーのお礼なので深い意味は無いです。ただのお返しです。」と淡々と言い返したのはハッキリと覚えています。
言い返した時その人は特に言葉を返してこず、笑いながらコーヒーを飲んでいました。