6 svar · 629 visningar · startad av yador
Hejsan!
Vad gör sökmoterna om det står i robots.txt att inte t ex mappen test ska indexeras men på alla sidor i mappen test står de som meta tag att den ska indexeras med mera.
Tack på förghand!
Robots.txt säger till roboten att den inte ska titta i mappen test, så vad metataggarna säger spelar ingen roll.
okej, Tack för det snabba svaret.
emission skrev:
Robots.txt säger till roboten att den inte ska titta i mappen test, så vad metataggarna säger spelar ingen roll.
Det du säger är visserligen sant, men det är värt att påpeka att motsatsen inte gäller. Om robots.txt säger att en mapp ska indexeras, så sker det, utom i de fall det finnas meta-taggar som säger nåt annat.
nitro2k01 skrev:
Om robots.txt säger att en mapp ska indexeras, så sker det, utom i de fall det finnas meta-taggar som säger nåt annat.
Nej, inte riktigt. Robots.txt är till för att utesluta indexering. Det går alltså inte att styra vad som ska indexeras med robots.txt, utan enbart vad som inte ska indexeras. Protokollet heter "The Robots Exclusion Protocol".
Läs mer om robots.txt: http://www.robotstxt.org/wc/exclusion.html och http://www.backendmedia.se/2005/12/01/vad-skriver-man-i-robotstxt/.
För att säga till en sökmotor att innehåll ska indexeras måste metataggar användas (vilket i sig är onödigt, eftersom allt indexeras ändå om inget annat anges).
Pace skrev:
Nej, inte riktigt. Robots.txt är till för att utesluta indexering. Det går alltså inte att styra vad som ska indexeras med robots.txt, utan enbart vad som inte ska indexeras. Protokollet heter "The Robots Exclusion Protocol".
Håller inte med. Kanske var det så i orginal-specen, men idag används ett Allow-kommando, som är vida accepterat av dagens sökmotorer. Detta är användbart t ex för att undvika indexering av alla utom en underkataloger, något som också nämns som jobbigt längre in på den första sidan du hänvisar till, just p g a (den dåvarande) bristen på ett allow-kommando.
Jag har skrivit lite om det på en av mina bloggar, läs gärna och meddela om du tycker att jag har fel i någon punkt.
http://packetsofknowledge.wordpress.com/2006/07/04/preventing-search-engine-indexing/
nitro2k01 skrev:
Håller inte med. Kanske var det så i orginal-specen, men idag används ett Allow-kommando, som är vida accepterat av dagens sökmotorer. Detta är användbart t ex för att undvika indexering av alla utom en underkataloger, något som också nämns som jobbigt längre in på den första sidan du hänvisar till, just p g a (den dåvarande) bristen på ett allow-kommando.
Protokollet säger att allow inte är tillåtet. Bland annat Google har uttalat stöd för det ändå, men man kan inte garantera samma resultat hos alla sökspindlar.
