Non sono solo i link a "pesare"...
Ci vuole uno studio adeguato di tutto l'insieme: il nome a dominio, i contenuti del sito, l'ottimizzazione delle pagine, gli inbound e outbound link e la loro pertinenza... non è che uno di questi fattori escluda l'altro, penso vadano considerati dandogli la giusta importanza.