Detektera google spindel i min loggfil.

2 svar · 323 visningar · startad av Mattias Nordin 20 sep. 2006

Mattias NordinMedlem sedan dec. 20051 056 inlägg

Frågan20 sep. 2006 21:03#1

Hej

Jag loggar trafik till en av mina websiter. Jag har sett andra websiter som visar när tex google indexerade en viss sida.

Hur gör man det?

Är spindelns IP-nummer känt eller går det att slå upp detta med reverse lookup?

J.N.Medlem sedan apr. 20031 660 inlägg

22 sep. 2006 08:36#2

HEJ!

Har du provat Google Sitemap?
Där kan man göra en sitemap (har jag ej gjort) som gör att Google snabbare/lättare/etc indexerar det du gör.
Google -> My Account, fast man kanske måste registrerar sig först? Du hittar säkert!

Använder det än så länge på en webbplats:
"Googlebot last successfully accessed your home page on Sep 18, 2006."

Tack vare det fick jag reda på att mina tomma länkar hade fel suffix...
Hade jag endast märkt pga vissa sidor inte dykt upp hos Google.
Tomma länkar följs alltså av Google, <a href="sida.htm"></a> är en tom länk.

Man kan nog se det i statistik också, har för mig att jag sett listor äver de ip som de olika botarna använder.

Mattias NordinMedlem sedan dec. 20051 056 inlägg

22 sep. 2006 19:23#3

Jag vill kunna se exakt vilka websidor som har besökts av en sökmotorspindel. Metoden jag löste det på är...
Loggar trafiken till varje sida och spar bla user agent i en databas...

varUserBrowserAgent = Request.Servervariables("HTTP_USER_AGENT") 
"...insert into database..."

<% while not rs.eof  %>
<font color="red"><%=funReturnBotName(rs("user_browser"))%></font><br>
<% rs.movenext
wend %>

<%'==== R E T U R N   W E B C R A W L E R   N A M E ====
function funReturnBotName(UserAgentString)
	if inStr(userAgentString,"ia_archiver") > 0 then
		funReturnBotName = "Alexa"
	elseif inStr(userAgentString,"Ask Jeeves") > 0 then
		funReturnBotName = "Ask Jeeves/Teoma"
	elseif inStr(userAgentString,"Baiduspider") > 0 then
		funReturnBotName = "Baidu"
	elseif inStr(userAgentString,"GameSpy") > 0 then
		funReturnBotName = "GameSpy"
	elseif inStr(userAgentString,"Gigabot") > 0 then
		funReturnBotName = "Gigablast"
	elseif inStr(userAgentString,"Googlebot") > 0 then
		funReturnBotName = "Google"
	elseif inStr(userAgentString,"Slurp") > 0 then
		funReturnBotName = "Yahoo"
	elseif inStr(userAgentString,"msnbot") > 0 then
		funReturnBotName = "MSN Search"
	elseif inStr(userAgentString,"W3C_Validator") > 0 then
		funReturnBotName = "W3C validator"
	elseif inStr(userAgentString,"W3C_CSS_Validator") > 0 then
		funReturnBotName = "W3C CSS validator "
	elseif inStr(userAgentString,"Wget") > 0 then
		funReturnBotName = "Wget"
	elseif inStr(userAgentString,"Yahoo!-") > 0 then
		funReturnBotName = "Yahoo search"
	elseif inStr(userAgentString,"Scooter") > 0 then
		funReturnBotName = "Altavista"
	else
	funReturnBotName = ""
	end if
end function %>

Jag har inte hunnit verifiera alla sökmotorers HTTP_USER_AGENT ännu så de kan eventuellt vara fel...

Det var ju kul att det gick att få fram den här informationen :e