Il robots.txt anche se non lo puoi modificare, lo puoi comunque visualizzare digitando nel browser http://domainname.tld/robots.txt