---
title: "Sökmotorer och spindlar..."
type: "forum-thread"
url: "https://www.webforum.nu/amne/html-css/158118-sökmotorer-och-spindlar"
topic: "HTML & CSS"
topic_url: "https://www.webforum.nu/amne/html-css"
author: "Stig"
published: "2007-03-13T07:42:53.000Z"
updated: "2007-03-13T08:00:03.000Z"
replies: 1
views: 393
page: 1
pages: 1
language: "sv-SE"
site: "webForum — webforum.nu"
rights: "Upphovsrätten till varje inlägg tillhör dess författare."
attribution: "Citera som: webForum, https://www.webforum.nu/amne/html-css/158118-sökmotorer-och-spindlar"
---

# Sökmotorer och spindlar...

## #1 — Stig, 2007-03-13T07:42Z

Går det att gömma webbsidor så inte spindlar på nätet inte kan söka igenom sidorna efter information. Kommer spindlarna åt lösenordskyddade sior?

Permalänk: https://www.webforum.nu/p/158118

## #2 — Danne V, 2007-03-13T08:00Z

Ja, du kan "gömma" webbsidor på flera sätt.

Du kan lägga in ett vanligt textdokument som du döper till "robots.txt" i root (alltså där din index-fil finns) som du kan fylla med diverse regelr för hur "bots" ska uppträda, vad dom får göra och inte får göra osv. Se t.ex. här: <http://www.robotstxt.org/wc/faq.html> eller googla på "robots.txt" och kolla några exempel.

Tyvärr kan ju vissa "spambots" vara så fixade att dom skiter i "robots.txt". Men vanliga bots från sökmotorer osv respekterar reglerna.

Man kan också lägga in metataggar med "no-follow" i webbsidornas huvud.

Nej, spindlar kommer inte åt lösenordsskyddade sidor. Inte ens spambots gör det. Jag använder bara \*nix-servrar där man enkelt lägger in lösenordsskydd med hjälp av "htaccess" (eller rättare sagt "htpasswd") och server släpper inte in nån som inte kan lösenordet.

Men generellt sett så måste det finnas en länk nånstans ute i cyberrymden som pekar mot ett dokument för att en bot ska hitta den. (Vilket iofs diskuteras eftersom somliga tror att bl.a. Google hittat ett sätt att lista hela innehållet på en server vare sig det finns länkar som pekar mot dokumenten eller inte. Men det är väl lite överkurs, kanske).

Permalänk: https://www.webforum.nu/p/1944831

---

Tråden på webben: https://www.webforum.nu/amne/html-css/158118-sökmotorer-och-spindlar