中年男人失去情人会难过吗