Ja, du kan "gömma" webbsidor på flera sätt.
Du kan lägga in ett vanligt textdokument som du döper till "robots.txt" i root (alltså där din index-fil finns) som du kan fylla med diverse regelr för hur "bots" ska uppträda, vad dom får göra och inte får göra osv. Se t.ex. här: http://www.robotstxt.org/wc/faq.html eller googla på "robots.txt" och kolla några exempel.
Tyvärr kan ju vissa "spambots" vara så fixade att dom skiter i "robots.txt". Men vanliga bots från sökmotorer osv respekterar reglerna.
Man kan också lägga in metataggar med "no-follow" i webbsidornas huvud.
Nej, spindlar kommer inte åt lösenordsskyddade sidor. Inte ens spambots gör det. Jag använder bara *nix-servrar där man enkelt lägger in lösenordsskydd med hjälp av "htaccess" (eller rättare sagt "htpasswd") och server släpper inte in nån som inte kan lösenordet.
Men generellt sett så måste det finnas en länk nånstans ute i cyberrymden som pekar mot ett dokument för att en bot ska hitta den. (Vilket iofs diskuteras eftersom somliga tror att bl.a. Google hittat ett sätt att lista hela innehållet på en server vare sig det finns länkar som pekar mot dokumenten eller inte. Men det är väl lite överkurs, kanske).