non ho mai fatto, ma questo è un buon link di partenza

http://www.codeproject.com/KB/aspnet/ZetaWebSpider.aspx