beh a volte puoi esserci e dare un servizio con user e pass..
quindi come si diceva

se vuoi essere sicuro al 100% lo proteggi con un htaccess alcuni motori possono anche ignorare il robot.txt