[*] Autenticarsi ad un sito e salvare pagina Web

[cyberhook]

ciao a tutti e spero di essere entrato nel forum corretto!!

ho la necessità di eseguire un lavoro per scaricare delle pagine html, ma non so che linguaggio usare, ovviamente dopo averlo studiato.
vi spiego il dettaglio del lavoro e spero di ricevere in cambio 2 dritte. per comodità di esposizione chiamo la home del sito da scaricare www.pippo.it

operazioni da eseguire:
1) collegarmi a http://www.pippo.it
2) recuperare l'id della sessione attribuito (non so bene come, ma sicuramente in maniera progressiva) dal server (a dirla tutta, non ho ancora capito se serve realmente)
3) fornire al server utente e password
4) collegarmi alla pagina http://www.pippo.it/?p=nome_pagina
5) salvare la pagina così reperita su una cartella del pc

il tutto ovviamente senza aprire il browser. sono capaci tutti a entrare sulla pagina e dare "salva con nome", ma io voglio automatizzare la cosa, anche perchè ci saranno (le stesse) n pagine da salvare ogni giorno.

ovviamente sono a conoscenza di utente, password e nome_pagina

attenzione: per i soliti furbacchioni che pensano di saperla lunga, ho già provato con Teleport Pro e non funziona (anche con utente e password non riesce a salvare le pagine interne, probabilmente per via dell'id sessione, non so...). FTP: inaccessibile lato server, altrimenti era troppo facile...

a disposizione per qualsiasi chiarimento, attendo tutti i vostri consigli perchè sono completamente al buio!

Grazie a tutti per l'attenzione, ciao!!

[Andrea1979]

Allora, si fa più o meno agevolmente con TELNET (il che implica che tu scelga un linguaggio di programmazione che o si inerfacci con il comando telnet della piattaforma in modo agevole oppure con cui tu sia in grado di scrivere un semplice client tipo TELNET).

I comandi per loggarsi sono del genere

-----------------------------------------
Operazioni preliminari:
finestra di DOS (o shell di tua preferenza)
digita il comando: 

telnet forum.html.it 80

con cui ti connetti sulla port 80 all'host indicato. La porta 80 è "quella di internet" per intenderci. I comandi qui sotto invece sono passati a telnet. Occhio a due cose:
username e password SONO essere i nomi dei campi nel form di login, altrimenti mandi altra roba che il server non parsa.

Content-Length: 37 <--- questa indica la lunghezza della stringa da mandare in post, comprensiva cioè dei nomi campi, dei simboli di uguale e di tutti gli eventuali & del caso. La riga saltata dopo Content-Length NON è casuale. Ci vuole.
------------------------------------------
POST /forum/member.php HTTP/1.1
Host: forum.html.it
Content-Type: application/x-www-form-urlencoded
Content-Length: 37

username=Andrea1979&password=ziobilly

In risposta a ciò avrai qualcosa del genere:

                                     HTTP/1.1 200 OK
Date: Sun, 29 Jan 2006 12:04:12 GMT
Server: Apache
Set-Cookie: ; path=/
Set-Cookie: bblastvisit=1138536252; expires=Mon, 29-Jan-07 12:04:12 GMT; path=/
Content-Length: 9575
Content-Type: text/html; charset=iso-8859-1

Seguito dal codice html della pagina. Nota come vi sia settato il cookie di sessione. Se dovessi navigare nelle pagine dopo la login, dovrai aggiungere all'istruzione GET anche il cookie di sessione... ossia qualcosa del genere

GET /percorso/pagina/da/leggere/pagina.php HTTP/1.1
Host: host.della.pagina
Set-Cookie: ; path=/

e dovrebbe essere abbastanza per recuperare il codice della pagina in questione (più l'header di risposta del server).
Ti resta solo di salvare su file.


EDIT
Per un qualche motivo a me ignoto,il forum ha strippato l'hash del cookie di sessione, per cui se segui l'esempio (metti i tuoi dati, anche perché la password che ho messo lì è fittizia VVoVe: e ricordati di contare la lunghezza del Content da mandare e sistemare di conesguenza), capisci meglio e ti accorgi del md5 mancante...

[cyberhook]

ehm, grazie ma... è normale che dopo aver dato

telnet forum.html.it 80

la finestra "dos" diventi completamente nera senza più far nulla??

[Andrea1979]

sì...
a meno che non usi qualche parametro di telnet:

per esempio, in DOS:

telnet
set localecho
open forum.html.it 80

La finestra non è più tutta nera e vedi quello che stai scrivendo.

Se vuoi anche salvare in un file, prova così:

telnet
set localecho
set logfile c:\telnet.txt
set logging

set logfile nomefile dice a telnet di usare nomefile per salvare l'output. Con set logging attivi il salvataggio: da questo momento in poi il risultato dei comandi viene salvato nel file di log che hai specificato in logfile

[cyberhook]

ok, grazie!!