---
title: "Robots.txt vs meta"
type: "forum-thread"
url: "https://www.webforum.nu/amne/webbservrar/154355-robots-txt-vs-meta"
topic: "Webbservrar"
topic_url: "https://www.webforum.nu/amne/webbservrar"
author: "yador"
published: "2006-11-29T22:27:07.000Z"
updated: "2006-12-05T13:13:32.000Z"
replies: 6
views: 650
page: 1
pages: 1
language: "sv-SE"
site: "webForum — webforum.nu"
rights: "Upphovsrätten till varje inlägg tillhör dess författare."
attribution: "Citera som: webForum, https://www.webforum.nu/amne/webbservrar/154355-robots-txt-vs-meta"
---

# Robots.txt vs meta

## #1 — yador, 2006-11-29T22:27Z

Hejsan!
Vad gör sökmoterna om det står i robots.txt att inte t ex mappen test ska indexeras men på alla sidor i mappen test står de som meta tag att den ska indexeras med mera.

Tack på förghand!

Permalänk: https://www.webforum.nu/p/154355

## #2 — emission, 2006-11-29T22:40Z

Robots.txt säger till roboten att den inte ska titta i mappen test, så vad metataggarna säger spelar ingen roll.

Permalänk: https://www.webforum.nu/p/1903320

## #3 — yador, 2006-11-29T22:45Z

okej, Tack för det snabba svaret.

Permalänk: https://www.webforum.nu/p/1903322

## #4 — nitro2k01, 2006-11-29T23:02Z

> **emission skrev:**
>
> Robots.txt säger till roboten att den inte ska titta i mappen test, så vad metataggarna säger spelar ingen roll.

Det du säger  är visserligen sant, men det är värt att påpeka att motsatsen inte gäller. Om robots.txt säger att en mapp ska indexeras, så sker det, utom i de fall det finnas meta-taggar som säger nåt annat.

Permalänk: https://www.webforum.nu/p/1903323

## #5 — Pace, 2006-11-30T00:27Z

> **nitro2k01 skrev:**
>
> Om robots.txt säger att en mapp ska indexeras, så sker det, utom i de fall det finnas meta-taggar som säger nåt annat.

Nej, inte riktigt. Robots.txt är till för att *utesluta* indexering. Det går alltså inte att styra vad som *ska* indexeras med robots.txt, utan enbart vad som *inte* ska indexeras. Protokollet heter "The Robots *Exclusion* Protocol".

Läs mer om robots.txt: <http://www.robotstxt.org/wc/exclusion.html> och <http://www.backendmedia.se/2005/12/01/vad-skriver-man-i-robotstxt/>.

För att säga till en sökmotor att innehåll *ska* indexeras måste metataggar användas (vilket i sig är onödigt, eftersom allt indexeras ändå om inget annat anges).

Permalänk: https://www.webforum.nu/p/1903330

## #6 — nitro2k01, 2006-12-05T10:26Z

> **Pace skrev:**
>
> Nej, inte riktigt. Robots.txt är till för att *utesluta* indexering. Det går alltså inte att styra vad som *ska* indexeras med robots.txt, utan enbart vad som *inte* ska indexeras. Protokollet heter "The Robots *Exclusion* Protocol".

Håller inte med. Kanske var det så i orginal-specen, men idag används ett Allow-kommando, som är vida accepterat av dagens sökmotorer. Detta är användbart t ex för att undvika indexering av alla utom en underkataloger, något som också nämns som jobbigt längre in på den första sidan du hänvisar till, just p g a (den dåvarande) bristen på ett allow-kommando. 
Jag har skrivit lite om det på en av mina bloggar, läs gärna och meddela om du tycker att jag har fel i någon punkt.
<http://packetsofknowledge.wordpress.com/2006/07/04/preventing-search-engine-indexing/>

Permalänk: https://www.webforum.nu/p/1907549

## #7 — Pace, 2006-12-05T13:13Z

> **nitro2k01 skrev:**
>
> Håller inte med. Kanske var det så i orginal-specen, men idag används ett Allow-kommando, som är vida accepterat av dagens sökmotorer. Detta är användbart t ex för att undvika indexering av alla utom en underkataloger, något som också nämns som jobbigt längre in på den första sidan du hänvisar till, just p g a (den dåvarande) bristen på ett allow-kommando.

Protokollet säger att allow inte är tillåtet. Bland annat Google har uttalat stöd för det ändå, men man kan inte garantera samma resultat hos alla sökspindlar.

Permalänk: https://www.webforum.nu/p/1907591

---

Tråden på webben: https://www.webforum.nu/amne/webbservrar/154355-robots-txt-vs-meta