infatti anche i motori si troveranno di fronte al 403....

la soluzione è proprio quella di garantirgli libero accesso alle risorse in questione, possibilmente in base all'user agent o ad altri parametri che tipicamente solo i motori usano

tanto per fare un esempio da crawl-66-249-72-236.googlebot.com
codice:
Accept:  	*/*
Accept-Encoding: 	gzip
Connection: 	Keep-alive
From: 	googlebot(at)googlebot.com
Host: 	pgl.yoyo.org
User-Agent: 	Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)