Ciao ho avuto il tuo stesso problema.
Un sito cho ho fatto, residente sui server di aruba, viene visto completamente vuoto dal primo dei 2 spider simulator da te indicati, ed il secondo vede pochissimo materiale. Ho provato con un altro sito sempre da me realizzato, ma non residente su aruba, e tutto funziona bene. Che ci sia qualche problema fra gli spider simulator e aruba?