Semplicement basta gestire tutto in una pagina invece di aprire popup e pagine. Alla fine ti ritrovi con una miriade di pagine ed incasini l'utente.

Utlizzando un 'unica pagina al link modifica.php aggiungi ?id=$id

in pratica diventa modifica.php?id=$id dove $id è l'id del libro che hai estratto dal db.

Per recuperare il valore devi usare l'array $_GET

nel tuo caso, quindi, dovrai usare $_GET['id']

Spero di essere stato chiaro! Ciao!