Bra tänkt!
Har lagt upp robotspärr mot de "vanligast spindlade" sidorna som kräver inloggning enligt din sökning nu - och sedan är det väl bara att vänta som gäller ;)
Frågan#1
Hej,
Då jag inte hittar det jag söker i programmeringsrelaterade frågor på wF så kollar jag alltid på google. Får ofta upp en sida som är tar betalt av att se svaren, behöver inte nämna namnet här...
Men det jag ville komma till, är att det skulle vara kul/bra om wF ordnade sina robot.txt filer lite bättre kanske. Själv är jag inte så insatt i hur det hela funkar, men en sökning av site:webforum.nu på google visade följande lista:
http://www.google.com/search?q=+site:webforum.nu&num=100&hl=en&lr=&rls=GGLD,GGLD:2004-28,GGLD:en&as_qdr=all&filter=0
Skulle vara kul om inläggen blev indexerade istället för sidor som roboten inte kommer åt...
Bara en tanke liksom...
// Nippe
