Non è un problema di banda in download (che praticamente non viene scalfita con gli upload), ma dipende dal fatto che serve della banda in upload anche per navigare (per scaricare una pagina e i "pezzi" che la compongono il tuo PC deve dire al server che risorsa vuole). Per cui, imposta un limite per la banda in upload di FileZilla, in modo che rimanga libero per la navigazione un qualcosa attorno ai 10 KB/s (anche meno se accetti un po' più di rallentamento nella navigazione).