Secondo me vale la pena, puoi capire a fondo il sistema ed avere un OS personalizzato ed ottimizzato.

Con un AthlonXP 2200 e 256Mb ci ho impiegato una giornata di lavoro intenso per LFS più un altro po' di giorni per BLFS.

Se prevedi di utilizzare e upgradare il sistema ti conviene usare un package manager tipo Paco