En enda robots.txt - olika inställningar för olika hostnames?

Hmm...

Om de där adresserna stämmer, kan du inte använda .htaccess (eftersom du då inte kör Apache utan IIS)... Med Apache hade du annars kunnat använda regler typ:

RewriteEngine ON

RewriteCond %{HTTP_HOST} ^foo\.screamshot\.com$ [NC]
RewriteRule    ^robots.txt$    robots-foo.txt  [L] 

RewriteCond %{HTTP_HOST} ^bar\.screamshot\.com$ [NC]
RewriteRule    ^robots.txt$    robots-bar.txt  [L]

för att styra om trafiken till olika robots.txt-filer för dina olika domäner...

... men eftersom du kör IIS så funkar ju inte det då ;)

... så du får väl se om du kanske kan koppla extensionen ".txt" så att den MIME-typsmässigt hanteras av t.ex. ASP.NET... (exempel: http://forums.aspfree.com/microsoft-iis-12/how-to-change-the-aspx-extension-37316.html )

Gör du det bör du kunna lägga in en koll mot Request.ServerVariables["HTTP_HOST"] och modifiera innehållet i robots.txt programmässigt ;)

... eller leka med "URL Rewriting" i ASP.NET - skall tydligen gå det med om man får tro t.ex. http://www.asp101.com/articles/matteo/urlrewriting/default.asp :bire

... fast jag skall väl i ärlighetens namn säga att de där IIS-sätten inte är något jag provat i praktiken ;)

Tjo, och tack för svaret! :)

Nej, det är inte de adresser jag angav det gäller, men det förändrar inte så mycket. Det är IIS version 5 (f.t., kommer väl bli 6 så småningom). Vi har också lekt med tanken att låta .txt gå igenom asp-tolken för att den vägen returnera olika textinnehåll till spindlarna beroende på vilken website man besöker. Problemet är dock att då kan vem som helst ladda upp en textfil på servern och exekvera denna. Fatta vilket bövelskap folk skulle ställa till med! :)

För inte kan man låta IIS hantera en viss .txt-fil som om den vore asp, men låta resten vara?

- - - - -

URL Rewriting kan ju vara intressant. Jag ska läsa på lite mer om det.
Tack för ditt svar! :bire (y)

Virtuell fil?

Mina tankar går direkt till en egen 404-sida som hanterar din request beroende på vad som finns i t.ex. servervariables. Typ att du kontrollerar om den efterfrågade resursen är "robots.txt", så kollar du domän eller valfri annan kriterie, och exekverar lite egen kod (t.ex. sprutar ut din specifika robots.txt och sätter content-type i asp) i din egen 404.asp som du har angivit i din IIS, på sajten.

Sen får du väl undantagshantera också, så inte alla 404 blir till din robots.txt, om du förstår vad jag menar. Och sen får ju inte robots.txt finnas heller, men det förstår du ju själv. ;)

Inte det bästa sättet, men det borde gå, inte sant?

Hmm...

Det är ju ett alternativ. Kanske inte så extremt dumt alternativ heller egentligen. 404:an använder jag på en massa läckra sätt redan, så det kanske inte är så dumt att låta den ta hand om roboterandet också. :)

Tack! :)