Sökmotoridentifiering

7 svar · 3 669 visningar · startad av Erik Juhlin 9 dec. 2003

Erik JuhlinMedlem sedan maj 200010 687 inlägg

Frågan9 dec. 2003 08:46#1

Vi gör lite Response.Redirects för att slippa third party cookie problem. Eftersom att sökmotorer brukar ha problem med dessa så kollar vi om det är en sökmotor som är inne och indexerar. Just nu kollar vi bara efter:
googlebot, architextspider, slurp scooter, infoSeek, ultraseek, lycos, gulliver, webcrawler

I useragenten...

Finns det något smartare sätt att se om det är en sökmotor? Eller har nån en mer komplett lista på sökmotorer?

PaceMedlem sedan juni 20019 024 inlägg

11 dec. 2003 00:57#2

Att identifiera via delorden "crawler" och "spider" brukar vara det vanligaste.

Erik JuhlinMedlem sedan maj 200010 687 inlägg

11 dec. 2003 07:51#3

Då slänger jag in det också! :)

LazerzubbMedlem sedan mars 2000542 inlägg

11 dec. 2003 13:10#4

AbachoBOT
Acoon
AESOP_com_SpiderMan
Ah-ha
appie
Arachnoidea
ArchitextSpider
Atomz
attach
BackWeb
Bandit
BatchFTP
Bot\ mailto:craftbot@yahoo.com
Buddy
ChinaClaw
Collector
Copier
DA
DeepIndex
DISCo\ Pump
Download\ Demon
Download\ Wonder
Downloader
Drip
eCatch
EirGrabber
ESISmartSpider
Euroseek
Express\ WebPictures
ExtractorPro
EyeNetIE
EZResult
FAST-WebCrawler
FileHound
FlashGet
GetRight
GetSmart
Go!Zilla
Go-Ahead-Got-It
Googlebot
gotit
Grabber
GrabNet
Grafula
Gulliver
Gulper
HenryTheMiragoRobot
HMView
HTTrack
ia_archiver
InterGET
Internet\ Ninja
Iria
JetCar
JOC
JustView
KIT-Fireball/2.0
larbin
LeechFTP
lftp
likse
LNSpiderguy
Lycos_Spider_(T-Rex)
Magnet
Mag-Net
MantraAgent
Mass\ Downloader
Memo
MIDown\ tool
Mirror
Mister\ PiX
MSNBot
Navroad
Nazilla
NearSite
Net\ Vampire
NetAnts
NetSpider
NetZip
Ninja
Octopus
Offline\ Explorer
Openbot
Openfind
PageGrabber
Papa\ Foto
pcBrowser
Pockey
Pump
RealDownload
Reaper
Recorder
ReGet
Scooter
Scrubby
Siphon
SiteSnagger
Slurp.so/1.0
Slurp/2.0
Slurp/2.0j
Slurp/3.0
SmartDownload
Snake
SpaceBison
Stripper
Sucker
SuperBot
SuperHTTP
Surfbot
tAkeOut
Tarantula
Teleport\ Pro
Teoma_agent1
UK Searcher Spider
Vacuum
VoidEYE
Walhello
Web\ Image\ Collector
Web\ Sucker
WebAuto
WebCopier
WebCrawler
WebFetch
WebReaper
WebSauger
Website
Webster
WebStripper
WebWhacker
WebZIP
Wget
Whacker
Widow
Winona
Xaldon
ZyBorg

Kolla även:
http://www.iplists.com/

Erik JuhlinMedlem sedan maj 200010 687 inlägg

11 dec. 2003 13:22#5

Lazerzubb, står dessa texterna i deras User Agents?

LazerzubbMedlem sedan mars 2000542 inlägg

11 dec. 2003 13:44#6

yepp

jeanetteMedlem sedan sep. 2003901 inlägg

11 dec. 2003 19:00#7

Kolla in denna sidan....värd att titta på...finns all infohttp://www.jafsoft.com/searchengines/webbots.html

Erik JuhlinMedlem sedan maj 200010 687 inlägg

12 dec. 2003 07:54#8

Tack jeanette!