Si, in effetti si dice che non è bene stare su di un IP nel qualche "convivono" domini che, agli occhi del motore, non si "comportano correttamente".
Personalmente non ho mai avuto problemi, anche se sul mio IP ci sono servizi di tutti i tipi (verificati con http://www.cached.it/trova-host.php e con la funzione IP: di MSN)...