si, attr popola il campo 'href' (primo parametro) con la stringa contenuta nel secondo, quindi devi usare:
$('#link').attr('href',$('#link').attr('href'')+$('#div_test').text())