il robots.txt è uno standard, serve per istruire i bot, quindi va usato di conseguenza

se sei disposto\a a farti indicizzare tutto allora non metti in disallow nulla, altrimenti ci metti le immagini ecc ecc