---
title: "Detektera google spindel i min loggfil."
type: "forum-thread"
url: "https://www.webforum.nu/amne/webbutveckling/151557-detektera-google-spindel-i-min-loggfil"
topic: "Webbutveckling"
topic_url: "https://www.webforum.nu/amne/webbutveckling"
author: "Mattias Nordin"
published: "2006-09-20T21:03:30.000Z"
updated: "2006-09-22T19:23:25.000Z"
replies: 2
views: 340
page: 1
pages: 1
language: "sv-SE"
site: "webForum — webforum.nu"
rights: "Upphovsrätten till varje inlägg tillhör dess författare."
attribution: "Citera som: webForum, https://www.webforum.nu/amne/webbutveckling/151557-detektera-google-spindel-i-min-loggfil"
---

# Detektera google spindel i min loggfil.

## #1 — Mattias Nordin, 2006-09-20T21:03Z

Hej

Jag loggar trafik till en av mina websiter. Jag har sett andra websiter som visar när tex google indexerade en viss sida.

Hur gör man det?

Är spindelns IP-nummer känt eller går det att slå upp detta med reverse lookup?

Permalänk: https://www.webforum.nu/p/151557

## #2 — J.N., 2006-09-22T08:36Z

HEJ!

Har du provat Google Sitemap?
Där kan man göra en sitemap (har jag ej gjort) som gör att Google snabbare/lättare/etc indexerar det du gör.
Google -\> My Account, fast man kanske måste registrerar sig först? Du hittar säkert!

Använder det än så länge på en webbplats:
"Googlebot last successfully accessed your home page on Sep 18, 2006."

Tack vare det fick jag reda på att mina tomma länkar hade fel suffix...
Hade jag endast märkt pga vissa sidor inte dykt upp hos Google.
Tomma länkar följs alltså av Google, \<a href="sida.htm"\>\</a\> är en tom länk.

Man kan nog se det i statistik också, har för mig att jag sett listor äver de ip som de olika botarna använder.

Permalänk: https://www.webforum.nu/p/1870729

## #3 — Mattias Nordin, 2006-09-22T19:23Z

Jag vill kunna se exakt vilka websidor som har besökts av en sökmotorspindel. Metoden jag löste det på är...
Loggar trafiken till varje sida och spar bla user agent i en databas...

```
varUserBrowserAgent = Request.Servervariables("HTTP_USER_AGENT") 
"...insert into database..."
```

```
<% while not rs.eof  %>
<font color="red"><%=funReturnBotName(rs("user_browser"))%></font><br>
<% rs.movenext
wend %>

<%'==== R E T U R N   W E B C R A W L E R   N A M E ====
function funReturnBotName(UserAgentString)
	if inStr(userAgentString,"ia_archiver") > 0 then
		funReturnBotName = "Alexa"
	elseif inStr(userAgentString,"Ask Jeeves") > 0 then
		funReturnBotName = "Ask Jeeves/Teoma"
	elseif inStr(userAgentString,"Baiduspider") > 0 then
		funReturnBotName = "Baidu"
	elseif inStr(userAgentString,"GameSpy") > 0 then
		funReturnBotName = "GameSpy"
	elseif inStr(userAgentString,"Gigabot") > 0 then
		funReturnBotName = "Gigablast"
	elseif inStr(userAgentString,"Googlebot") > 0 then
		funReturnBotName = "Google"
	elseif inStr(userAgentString,"Slurp") > 0 then
		funReturnBotName = "Yahoo"
	elseif inStr(userAgentString,"msnbot") > 0 then
		funReturnBotName = "MSN Search"
	elseif inStr(userAgentString,"W3C_Validator") > 0 then
		funReturnBotName = "W3C validator"
	elseif inStr(userAgentString,"W3C_CSS_Validator") > 0 then
		funReturnBotName = "W3C CSS validator "
	elseif inStr(userAgentString,"Wget") > 0 then
		funReturnBotName = "Wget"
	elseif inStr(userAgentString,"Yahoo!-") > 0 then
		funReturnBotName = "Yahoo search"
	elseif inStr(userAgentString,"Scooter") > 0 then
		funReturnBotName = "Altavista"
	else
	funReturnBotName = ""
	end if
end function %>
```

Jag har inte hunnit verifiera alla sökmotorers HTTP_USER_AGENT ännu så de kan eventuellt vara fel...

Det var ju kul att det gick att få fram den här informationen   :e

Permalänk: https://www.webforum.nu/p/1870851

---

Tråden på webben: https://www.webforum.nu/amne/webbutveckling/151557-detektera-google-spindel-i-min-loggfil