Это не ерунда. Это обычный вопрос. А ерунда - это делать из недоверия демонстрацию "потенциального доверия" Я маму свою легко могу спросить где она была, почему я не могу спросить мужика где он был?
а если он ответит невинной шуткой, мол, "где был - там уже нету". или вопросом: "а в чем дело?"