Se sul server gira apache e ha configurato il listing della directory (cioè se da browser digiti l'indirizzo "http://dominio.it/cartella_coi_file/" e ti appare la lista dei file ) la maniera più facile da shell è usare wget [indirizzo]. Ti salverà un file index.html con la lista dei file. Ovviamente se lo vorrai in formato "testo semplice" dovrai fare un parsing. Questa è la maniera "quick & dirty", se mi venisse in mente altro posto..