i <tr></tr> li devi mettere all'interno del for each e con un contatore controlli quanti album hai gia stampato su una riga se è = al numero che vuoi tu (es 4) fai eseguire i tag tr altrimenti no

codice:
cont=0
response.write "<table width=750>"
For Each objItem In cartella.SubFolders

if (cont mod 4)=0 then
response.write "<tr>"
end if

response.write "<td width=150 valign=top><a href='public/"&objItem.name&"'>"&objItem.Name&"
Dimensioni: "& objItem.Size & "Bytes""</a></td>"

if (cont mod 4)=0 then
response.write "</tr>"
end if

cont=cont+1
Next
  response.write "<table>"