la MAX riposrta sempre qualcosa, quindi rs non è mai vuoto

puoi provare con

if Trim(rsnumerodocumento(0) & "[]") = "[]" then
nuovonumerodocumento = 1
else
nuovonumerodocumento = rsnumerodocumento(0) + 1
end if