Dovresti poter mettere in blocco l'accesso a determinati IP (dato che conosci i server da cui arrivano), dipende dall'hosting.
robot.txt funziona soltanto con i bot "buoni", diciamo che è una regola che si sono dati per verificare se non vuoi il passaggio dei bot di ricerca, ma nessuno li obbliga a leggerlo e seguire quello che contiene.