---
title: "En enda robots.txt - olika inställningar för olika hostnames?"
type: "forum-thread"
url: "https://www.webforum.nu/amne/webbutveckling/152369-en-enda-robots-txt-olika-inställningar-för-olika-hostnames"
topic: "Webbutveckling"
topic_url: "https://www.webforum.nu/amne/webbutveckling"
author: "@nders"
published: "2006-10-11T10:21:49.000Z"
updated: "2006-10-11T12:46:37.000Z"
replies: 4
views: 448
page: 1
pages: 1
language: "sv-SE"
site: "webForum — webforum.nu"
rights: "Upphovsrätten till varje inlägg tillhör dess författare."
attribution: "Citera som: webForum, https://www.webforum.nu/amne/webbutveckling/152369-en-enda-robots-txt-olika-inställningar-för-olika-hostnames"
---

# En enda robots.txt - olika inställningar för olika hostnames?

## #1 — @nders, 2006-10-11T10:21Z

Förutsättning:

Jag har ett par webbplatser som skulle kunna ha adresserna <http://foo.screamshot.com/> och <http://bar.screamshot.com>.
Dessa webbplatser är egentligen bara en fysisk webbplats, men med olika utseende beroende på vilken adress man går till. De ligger på samma server, och har två host headers som pekar på samma mapp på servern.
Det är alltså fysiskt sett en enda webbplats, med flera adresser.

Jag vill nu använda robots.txt för att låta sökmotorer indexera **en av siterna**, men inte den andra.
Hur gör jag detta? Hade det varit separata webbplatser så hade jag ju haft separata robots.txt-filer att tillgå, och då hade det ju inte varit något problem.

Lång historia till kort: Hur gör jag olika inställningar för olika subdomäner/domäner i en och samma robots.txt?

Mvh och tpf,

Permalänk: https://www.webforum.nu/p/152369

## #2 — jarvklo, 2006-10-11T10:40Z

Hmm...

Om de där adresserna stämmer, kan du inte använda .htaccess (eftersom du då inte kör Apache utan IIS)...  Med Apache hade du annars kunnat använda regler typ:

```
RewriteEngine ON

RewriteCond %{HTTP_HOST} ^foo\.screamshot\.com$ [NC]
RewriteRule    ^robots.txt$    robots-foo.txt  [L] 

RewriteCond %{HTTP_HOST} ^bar\.screamshot\.com$ [NC]
RewriteRule    ^robots.txt$    robots-bar.txt  [L]
```

 för att styra om trafiken till olika robots.txt-filer för dina olika domäner...

... men eftersom du kör IIS så funkar ju inte det då ;)

... så du får väl se om du kanske kan koppla extensionen ".txt" så att den MIME-typsmässigt hanteras av t.ex. ASP.NET... (exempel: <http://forums.aspfree.com/microsoft-iis-12/how-to-change-the-aspx-extension-37316.html> )

Gör du det bör du kunna lägga in en koll mot Request.ServerVariables\["HTTP_HOST"\] och modifiera innehållet i robots.txt programmässigt ;)

... eller leka med "URL Rewriting" i ASP.NET - skall tydligen gå det med om man får tro t.ex. <http://www.asp101.com/articles/matteo/urlrewriting/default.asp> :bire

... fast jag skall väl i ärlighetens namn säga att de där IIS-sätten inte är något jag provat i praktiken ;)

Permalänk: https://www.webforum.nu/p/1879387

## #3 — @nders, 2006-10-11T10:50Z

Tjo, och tack för svaret! :)

Nej, det är inte de adresser jag angav det gäller, men det förändrar inte så mycket. Det är IIS version 5 (f.t., kommer väl bli 6 så småningom). Vi har också lekt med tanken att låta .txt gå igenom asp-tolken för att den vägen returnera olika textinnehåll till spindlarna beroende på vilken website man besöker. Problemet är dock att då kan vem som helst ladda upp en textfil på servern och exekvera denna. Fatta vilket bövelskap folk skulle ställa till med! :)

För inte kan man låta IIS hantera en viss .txt-fil som om den vore asp, men låta resten vara?

\- - - - -

URL Rewriting kan ju vara intressant. Jag ska läsa på lite mer om det.
Tack för ditt svar! :bire (y)

Permalänk: https://www.webforum.nu/p/1879389

## #4 — OveRRidE, 2006-10-11T12:31Z

Virtuell fil?

Mina tankar går direkt till en egen 404-sida som hanterar din request beroende på vad som finns i t.ex. servervariables. Typ att du kontrollerar om den efterfrågade resursen är "robots.txt", så kollar du domän eller valfri annan kriterie, och exekverar lite egen kod (t.ex. sprutar ut din specifika robots.txt och sätter content-type i asp) i din egen 404.asp som du har angivit i din IIS, på sajten. 

Sen får du väl undantagshantera också, så inte alla 404 blir till din robots.txt, om du förstår vad jag menar. Och sen får ju inte robots.txt finnas heller, men det förstår du ju själv. ;)

Inte det bästa sättet, men det borde gå, inte sant?

Permalänk: https://www.webforum.nu/p/1879425

## #5 — @nders, 2006-10-11T12:46Z

Hmm...

Det är ju ett alternativ. Kanske inte så extremt dumt alternativ heller egentligen. 404:an använder jag på en massa läckra sätt redan, så det kanske inte är så dumt att låta den ta hand om roboterandet också. :)

Tack! :)

Permalänk: https://www.webforum.nu/p/1879432

---

Tråden på webben: https://www.webforum.nu/amne/webbutveckling/152369-en-enda-robots-txt-olika-inställningar-för-olika-hostnames
