Jag har skrivit lite om robots.txt på en av mina bloggar som kanske kan hjälpa dig: Preventing search engine indexing
Frågan#1
Hej,
jag håller på att utveckla en webbplats, och för att serverkopplingar och annat ska bli rätt använder jag en subdomän dev.mindomän.se. Eftersom utvecklingsversionen mer eller mindre är en kopia av www.mindomän.se skulle jag vilja att allt i denna subdomän inte indexeras i någon sökmotor.
Har kollat lite och hittat Robots.txt som verkar vara vad jag är ute efter, men det verkar som om alla länkar till en sida som inte längre finns kvar.
Någon som har möjlighet att hjälpa mig med detta?