Skapa en fil i rooten som heter "robots.txt" där du anger var sökmotorerna inte skall rota.
Exempelvis:
User-agent: *
Disallow: /mappnamn/
Frågan#1
Jag har stora problem med att web-indexing robot som Slurp -- Inktomi's Web Robot och bland annat google som stressar ihjäl min IIS. CPU.n gåt upp i 100% och alla asp dokument lägger av. Det är vissa dokument dom hela tiden kör fast jag angett
<META NAME="robots" CONTENT="noindex">
<META NAME="robots" CONTENT="nofollow">
Hur kan jag göra för att hindra dessa web-indexing robot att ha tillträde till min server eller min domän. Jag har flera domäner på servern men det är bara en dom är intresserade av och vissa dokument.