Composizione Robots.txt

[MySQL]

In primo luogo, a scopo professionale, essere sicuro di quale sia la cosa giusta e sicura per tutti gli spider e in secondo luogo, a scopo privato perchè nel mio sito ho delle cartelle con dati personali e sensibili che non vorrei fossero indicizzati e resi pubblici

La risposta è
1) non esiste
2) non esiste

Non stiamo parlando di un htaccess o "simile", nel senso che il server web impedisce l'accesso secondo certe regole.
E' lo spider che, "graziosamente", se trova un file robots lo esamina e non prosegue.
Nulla vieta allo spider di fregarsene bellamente e indicizzare tutto quello che trova.

Siccome lo spider per eccellenza è google, ha pienamente senso fare un robots con il formato di google.
Ma gli altri 1000000000000000000 indicizzatori possono, o meno, conformarsi.

Quindi se hai dati che non vuoi essere indicizzati... non lasciarli liberi, anche solo con un htaccess per utente e password (triste, ma efficace per gli spider)

Non credo ci siano alternative