Sökmotorer attackerar min sajt... :(

4 svar · 274 visningar · startad av Lukaspojken 7 dec. 2003

LukaspojkenMedlem sedan maj 20011 312 inlägg

Frågan7 dec. 2003 18:03#1

Det är så här att jag har ett forum och nu misstänker jag att de sökmotorer (som tex Yahoo, Sunet m.m.) som jag registrerat forumet på "attackerar" nästintill sajten under vissa tidpunkter. Det som händer under dessa tidpunkter är att hela sajten går enormt segt. Kan man göra så att bara vissa sidor tas med av sökmotorn och inte alla? Eller hur ska jag lösa problemet?

trexterMedlem sedan mars 20021 889 inlägg

7 dec. 2003 18:10#2

Skriv
Disallow: file.abc
i din robots.txt

kolla även andra sidors robots.txt
http://www.cnn.com/robots.txt
http://www.google.com/robots.txt
osv.

trexterMedlem sedan mars 20021 889 inlägg

7 dec. 2003 18:14#3

r) http://www.robotstxt.org/

LukaspojkenMedlem sedan maj 20011 312 inlägg

7 dec. 2003 18:17#4

Tack så mycket för svaren. Jag letade på disallow och fann det här på Google.

"Om du vill förhindra alla robotar från att indexa individuella sidor på din sajt, kan du placera följande metatagg i sidans HTML-kod:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">"

Det fungerar perfekt!

esraMedlem sedan okt. 2000101 inlägg

7 dec. 2003 22:02#5

Tack för tipset! Nu när ni nämner det så börjar jag ana att det är samma sak som händer min sajt emellanåt. Vid vissa tidpunkter på dygnet har prestandan sjunkit avsevärt. Nu har jag fixat en robot.txt. Ska bli kul att se vad som händer :)
Mvh