Non funziona perché imposti male la funzione setup, prova questa vedrai che funziona:
codice:
<html>
<head>
	<script>
		window.onload=setup;
		var height=200;
		var width=height;

		function setup () {
			setTimeout(function () {ingrandisci('quadrato')},1000);

			quadrato.setAttribute("height",height+"px");
			quadrato.setAttribute("width",width+"px");
		}
		function ingrandisci (div) {
			if (height <= 500) {
				height+=40;
				width=height;

				div.setAttribute("height",height+"px");
				div.setAttribute("width",width+"px");

				setTimeout(function () {ingrandisci(div);},200);
			}
		}
	</script>
</head>
<body>
	<div id="quadrato" style="height:200px;width:200px;background-color:blue;" ></div>
</body>
</hmtl>