有家的女人和单身男人在一起该怎么办