Creare indice pagine PHP

[vitren54]

Salve

ho l'esigenza di creare un indice delle pagine di un social.
Le pagine hanno un url contenente un numero progressivo che le identifica

es. www.social.it/sezione/xxxxxx

il numero è progressivo ma le pagine non esistono tutte, risultano mancanti quelle relative alle discussioni cancellate.

Avrei essenzialmente 2 esigenze, la prima è sapere quali sono le pagine presenti e la seconda se è possibile leggere i contenuti delle pagine presenti per fare una prima analisi.

Grazie per eventuali suggerimenti

[Alhazred]

Per prima cosa dovresti specificare se si tratta di un social su cui hai pieno accesso, sia al db che al codice, oppure se è un social presente su una piattaforma alla quale non hai accesso se non per la navigazione tra le pagine.

Nel primo caso devi interrogare il DB, ogni pagina avrà una entry in una tabella del database ed ogni entry avrà un id, ti basta prendere la lista degli id e costruire gli indirizzi con gli id recuperati. Allo stesso modo puoi recuperare il contenuto, sempre interrogando il db.

Nel caso non avessi accesso a nulla, ma puoi solo navigare tra le pagine, devi andare in ordine e provare ad accedere alle pagine (per esempio con file_get_contents(), ammesso che il sito risponda a tale funzione), leggere il contenuto della pagina a cui hai cercato di accedere e vedere se ti ritorna "pagina non trovata" (prova con una sicuramente non esistente e vedi come è fatto il messaggio così da riconoscerlo) oppure se ti ritorna un'altra cosa, nel qual caso la pagina esiste e ne recuperi il contenuto.

[vitren54]

Grazie per la risposta
è vera la seconda parte, sono iscritto al social ma posso solo navigare fra le pagine.
Banalmente mi sono fatto una routine che genera 100 link progressivi ma dopo un paio di accessi ho lasciato perdere.
Cerco quindi di ciclare sulle pagine in lettura, comincio a far prove con file_get_contents() come suggerisci.
Non ho molta pratica con questo genere di problemi ma seguo la tua dritta...

[vitren54]

Ciao
ho fatto qualche prova leggendo con file_get_contents() una pagina ma l'echo della stringa letta propone la home page con richiesta del login, il sito sembra rispondere a questa funzione ma richiede le credenziali anche se sono loggato.
Peccato...

[Alhazred]

Se le pagine che vuoi leggere sono disponibili solo agli utenti loggati è naturale che si comporti così.
file_get_contents() fa esattamente ciò che faresti tu accedendo ad una pagina, se la pagina è protetta da login, anche la funzione sarà soggetta allo stesso trattamento.

[vitren54]

Scusa mi sfugge qualcosa...
io praticamente accedo al social, mi loggo e sono dentro il social, questo in una scheda del browser.
Apro una seconda scheda lancio lo script che è depositato nel mio dominio (adesso forse comincio a capire) richiedendo una pagina con file_get_contents() al che il sito risponde giustamente "ma chi ti conosce".
Non voglio aggirare la protezione, sono iscritto e mi piacerebbe fare un indice dei contenuti, ma messa in questi termini forse file_get_contents() si presta poco ai siti che richiedono accesso (parlo da profano)