Vediamo.

Per aprire una popup devi fare così:

Codice PHP:
window.open(url,"popup",parametri); 
per maggiori info google: http://www.google.it/search?q=javascript+popup

penso che quelle che intendi come popup senza bordo siano invece semplici layer (div o span) detti tooltip.

cerca su google tooltip: http://www.google.it/search?q=tooltip+javascript

Per fare le gallery ci sono molti strumenti già fatti, il più noto che ti consiglio vivamente a lightbox o lightbox 2. Cerca sempre su big G!