La vera difficoltà non è nella tecnica per creare una zona in cui sia visibile una porzione di immagine su un livello sottostante, quella è davvero semplice (consiglio: usa le maschere di livello per nascondere quello che vuoi sul livello soprastante, non la gomma; in questo modo puoi sempre modificare le cose, senza avere perso nemmeno un pixel di immagine), ma il rendere verosimile lo strappo.
Il consiglio principale è quello di osservarne uno dal vivo, prendi un giornalino pubblicitario o un foglio di cui puoi fare a meno e realizza manualmente uno strappo come desideri.
A questo punto si tratta di osservarne i contorni, i punti d'ombra.
Non è nemmeno male l'idea di fare una foto digitale al tuo foglio strappato ed utilizzarlo poi come maschera nella tua composizione.
Difficilmente ti si può dare, a mio avviso, una risposta univoca, senza capire più nel dettaglio cosa fare.
Realizzare la segmentatura del bordo può essere una parte complessa, ma quella che ti ho suggerito sopra è una scappatoia possibile, dopodiche si tratta molto di ombre interne ed esterne, ma è riduttivo da dire così, senza sapere esattamente i materiali su cui lavori