Il tuo discorso è interessante, ma purtroppo ci sono due punti da tenere in considerazione, come tu stesso hai notato

1. non è uno standard, sebbene sarebbe ora che lo diventasse ufficialmente
2. non è vincolante. Significa che se io dico a Teleport che non lo voglio sul mio sito... Teleport può comunque decidere di entrare lo stesso!

Il tuo ragionamento se lo estendi poi ad altri MdR fa venire il mal di pancia.
Ad esempio, Google accetta * come carattere jolly anche nel nome del file mentre se non ricordo male Ask no.

La direttiva Allow è prerogativa solo di Google, così come le espressioni regolari.
E potremmo andare avanti giorni...