Download file da altro server

[mircov]

Buonasera a tutti.
Vado subito al sodo. Vorrei poter scaricare un file da un altro server. L'operazione viene ripetuta ad intervalli di tempo regolari e le connessioni avvengono a molti siti. In pratica gli utenti creano dei file zip sul proprio hosting (che possono anche pesare 100 o 200 MB o oltre) ed io li devo scaricare sul mio server. Una cosa del genere, secondo voi, la posso gestire con PHP o mi devo orientare su un altro linguaggio? I volumi di traffico possono essere anche abbastanza elevati considerando dimensioni dei file e connessioni simultanee.

[dottwatson]

apri una socket o attivi una connessione ftp ... php dispone di funzioni native per crearle e gestirle

[moskitoita]

Potresti avere problemi col memory_limit del php. Cron invece è adattissimo, se è diponibile...

[mircov]

Tra FTP e socket che differenza c'è? Sono un bel po' arruginito col PHP e comunque non ho mai usato i socket o le funzioni FTP. Potresti darmi qualche indicazione in più? Tu quale sceglieresti tra le due possibilità e perchè?

[moskitoita]

qui puoi farti un idea http://www.php.net/manual/it/ref.ftp.php

Ti faccio presente che la dimensione dei file molto probabilmente è un ostacolo per il php

[dottwatson]

farei così

http://it.php.net/manual/it/ftp.examples.php

[alcio74]

Posso dire una baggianata???
Ma uno script del genere non potrebbe essere assimilato ad un tentativo di attacco di tipo Denial Of Service, nel caso di siti con banda più o meno limitata e di un elevato traffico in download???

[mircov]

Potresti avere problemi col memory_limit del php
---------------
Ti faccio presente che la dimensione dei file molto probabilmente è un ostacolo per il php

Già, lo immaginavo. Per questo penso che sarebbe meglio orientarsi su altri linguaggi. Gli spider di Google in che linguaggio sono programmati?

farei così
http://it.php.net/manual/it/ftp.examples.php

Ci ho pensato: non posso usare FTP perchè non ho accesso all'ftp. Posso usare solo http. Sono semplici file come lo sono le pagine web e le immagini. Ma non posso caricare file sul server dell'utente nè posso accedere al suo server tramite ftp non conoscendo le credenziali di accesso.

Penso che alla fine lo spider vero e proprio (quello che in concreto scarica il file) non possa essere sviluppato in PHP: alternative?

[moskitoita]

Sei su un server linux? Cron + wget sono perfetti...

[mircov]

Cos'è wget? Un linguaggio di programmazione? Di scripting? Non l'ho mai usato, tu?

Comunque io non so se se ne possa fare a meno, ma eviterei l'uso di un cronjob.

L'applicazione dovrebbe leggere e scrivere su un db MySQL (per recuperare l'host): wget va bene? Per questo avevo pensato al PHP. E poi non è una cosa che devo usare solo io ma molti utenti! Un cron job non so fino a che punto possa andar bene perchè lo spider dovrebbe lavorare in continuazione, fermandosi solo quando non ci sono pacchetti da scaricare.