Meddelande

Minska
No announcement yet.

Sökmotoridentifiering

Minska
X
  • Filter
  • Klockan
  • Show
Clear All
new posts

  • Sökmotoridentifiering

    Vi gör lite Response.Redirects för att slippa third party cookie problem. Eftersom att sökmotorer brukar ha problem med dessa så kollar vi om det är en sökmotor som är inne och indexerar. Just nu kollar vi bara efter:
    googlebot, architextspider, slurp scooter, infoSeek, ultraseek, lycos, gulliver, webcrawler

    I useragenten...

    Finns det något smartare sätt att se om det är en sökmotor? Eller har nån en mer komplett lista på sökmotorer?
    /Erik
    "My love for you is like a truck, BERSERKER"
    "Would you like some making f**k, BERSERKER"

  • #2
    Att identifiera via delorden "crawler" och "spider" brukar vara det vanligaste.
    Take your god and shove him

    Kommentera


    • #3
      Då slänger jag in det också!
      /Erik
      "My love for you is like a truck, BERSERKER"
      "Would you like some making f**k, BERSERKER"

      Kommentera


      • #4
        AbachoBOT
        Acoon
        AESOP_com_SpiderMan
        Ah-ha
        appie
        Arachnoidea
        ArchitextSpider
        Atomz
        attach
        BackWeb
        Bandit
        BatchFTP
        Bot\ mailto:craftbot@yahoo.com
        Buddy
        ChinaClaw
        Collector
        Copier
        DA
        DeepIndex
        DISCo\ Pump
        Download\ Demon
        Download\ Wonder
        Downloader
        Drip
        eCatch
        EirGrabber
        ESISmartSpider
        Euroseek
        Express\ WebPictures
        ExtractorPro
        EyeNetIE
        EZResult
        FAST-WebCrawler
        FileHound
        FlashGet
        GetRight
        GetSmart
        Go!Zilla
        Go-Ahead-Got-It
        Googlebot
        gotit
        Grabber
        GrabNet
        Grafula
        Gulliver
        Gulper
        HenryTheMiragoRobot
        HMView
        HTTrack
        ia_archiver
        InterGET
        Internet\ Ninja
        Iria
        JetCar
        JOC
        JustView
        KIT-Fireball/2.0
        larbin
        LeechFTP
        lftp
        likse
        LNSpiderguy
        Lycos_Spider_(T-Rex)
        Magnet
        Mag-Net
        MantraAgent
        Mass\ Downloader
        Memo
        MIDown\ tool
        Mirror
        Mister\ PiX
        MSNBot
        Navroad
        Nazilla
        NearSite
        Net\ Vampire
        NetAnts
        NetSpider
        NetZip
        Ninja
        Octopus
        Offline\ Explorer
        Openbot
        Openfind
        PageGrabber
        Papa\ Foto
        pcBrowser
        Pockey
        Pump
        RealDownload
        Reaper
        Recorder
        ReGet
        Scooter
        Scrubby
        Siphon
        SiteSnagger
        Slurp.so/1.0
        Slurp/2.0
        Slurp/2.0j
        Slurp/3.0
        SmartDownload
        Snake
        SpaceBison
        Stripper
        Sucker
        SuperBot
        SuperHTTP
        Surfbot
        tAkeOut
        Tarantula
        Teleport\ Pro
        Teoma_agent1
        UK Searcher Spider
        Vacuum
        VoidEYE
        Walhello
        Web\ Image\ Collector
        Web\ Sucker
        WebAuto
        WebCopier
        WebCrawler
        WebFetch
        WebReaper
        WebSauger
        Website
        Webster
        WebStripper
        WebWhacker
        WebZIP
        Wget
        Whacker
        Widow
        Winona
        Xaldon
        ZyBorg

        Kolla även:
        http://www.iplists.com/
        Last edited by Lazerzubb; 2003-12-11, 13:17.
        "Japaner, japaner, överallt japaner..." Sven Jerring

        Kommentera


        • #5
          Lazerzubb, står dessa texterna i deras User Agents?
          /Erik
          "My love for you is like a truck, BERSERKER"
          "Would you like some making f**k, BERSERKER"

          Kommentera


          • #6
            yepp
            "Japaner, japaner, överallt japaner..." Sven Jerring

            Kommentera


            • #7
              Kolla in denna sidan....värd att titta på...finns all infohttp://www.jafsoft.com/searchengines/webbots.html
              Living well is the best revenge

              Kommentera


              • #8
                Tack jeanette!
                /Erik
                "My love for you is like a truck, BERSERKER"
                "Would you like some making f**k, BERSERKER"

                Kommentera

                Working...
                X