Prova a controllare se, in quel caso, cosa succede quando esegue la

recv = host.ReceiveFrom(data, ref ep);

ovvero, se hai un errore nell'esecuzione della ReceiveFrom