Da quello che ho capito si tratta di chiamate dal googlebot per questioni di ottimizzazione, ma � opzionale. Se non hai nulla per quella risorsa il server restituisce un errore 404 (non trovato) per cui il sistema riprova ogni tanto. Con il tempo dovrebbero rassegnarsi, diversamente restituisci un errore 410 (magari ti fai una route) in modo da dire che la risorsa non � disponibile ne ora n� mai. In questo modo dovrebbero smettere pi� velocemente di cercare la risorsa.
Rispondi quotando