No, non sbagli, almeno nel caso dell'ordinamento.
Il LIMIT serve ad ottenere solo i risultati che ti servono, e non di più. Ad esempio nel caso di paginazioni, o magari perché, per qualsiasi motivo, ti interessano solo i primi N casi. Senza LIMIT saresti costretto a gestire la cosa in altra maniera sicuramente meno comoda.