è sempre bene averne più di uno, i timeservers sono strutturati in modo da mantenere una certa precisione.
più servers hai più sarà accurato il calcolo dell'ora, e perderesti qualche millisecondo ad ogni aggiornamento.
per evitare di impostare un singolo server puoi usare un pool, che per l'italia è it.pool.ntp.org . I server di questo pool rispondo in roundrobin ( almeno da quello che mi è capitato di vedere ).
ciao