Ti sei preso una bella croce!

non ho capito se serve un programma su server che si occupa di tradurre i vari pdf in testo da inserire poi in un database per effettuare successivamente le ricerche, o se questa traduzione da file a testo va fatta con php...
La prima tecnica porta a risultati più rapidi nel momento della ricerca ed dovrebbe appesantire di meno il server dato che l'aggiornamento degli indici su db potreste farlo di notte o comunque in momenti di scarso traffico.
I contro sono la necessità di ulteriore spazio e carico per il database ed il fatto che gli indici su db potrebbero non essere aggiornabili in tempo reale.

La seconda agisce in tempo reale, ma carica non poco il lavoro del server, proporzionalmente alla quantità di file presenti nel sito.
Se sono tanti file e/o file di grandi dimensioni potrebbe decimare le prestazioni del server, soprattutto nel caso di ricerche multiple.

quali problematiche ci possono essere nel gestire vari formati (pdf doc ecc..) calcolando che ho già visto esserci numerose problematiche riguardanti i vari formati di testo unicode, latin ecc...
Se si conoscessero esattamente le problematiche cui si va incontro non sarebbe poi così grave.
MA rischi di incastrarti in problematiche di cui non si capisce neppure l'essenza.
Elaborare in tempo reale, efficacemente e senza eccezioni, documenti doc o pdf resta poco meno di un miracolo.

Opterei per la creazione di un sistema di indicizzazione su db, almeno per i file non di testo in chiaro.