タクシーの運転手に「タクシー呼んで待たせるとは何事だ」と言われたんだけど、これは私が悪いのか？

ついさっきあったこと。

飲みに行ってタクシー呼んだんだけど、帰る前にトイレに行きたくなってトイレに寄ってから外に出たら運転手にすげえぐちぐち言われた。

「こんな何人もの人が舞ってる時間にタクシー呼んで待たせるとは何事だ」
「油売ってる時間がもったいない」

確かに5分くらい待たせてしまったかなと思ったからタクシーに乗ってすぐに「お待たせしてすみません」って謝ったのにそんなこと言われたから酔った頭がすうっと冷えて真顔で対応した。
店から家まではワンメーター前後くらいだから短い距離で申し訳ないって思って謝罪の気持ちで言ったんだけど
そこまで言われなきゃいけないほど待たせた覚えもないので降りるときに2千円運転席に投げて「せっかくの稼ぎ時なのに油を売らせるような真似をしてどうもすみませんでした」と言って降りた。
家に帰ってから店の子に確認したらタクシーが来て私が下に降りるまで5分から10分くらいだと言われた。

これは私が悪いのか？
悪いとしてもああまで言われなきゃいけないことなのか？

まじはらたつけど飲み屋でタクシーを10分ほど待たせる行為は非常識なのでしょうか？
わざと待たせたわけではなくトイレに行っていたんだが。