come dicevo nell'oggetto dovrei creare un robot.
Spiego meglio ho creato un motore di ricerca ma ora vorrei creare anche uno spider che mi indicizza tutte le pagine come posso fare?