un sito non viene indicizzato immediatamente, ci vuole del tempo
se la homepage è indicizzata è un buon segno

e poi simulare uno spider a livello pratico non serve a niente, tu leggendo il tuo codice html dovresti già sapere se va bene o meno