Japp, ditt första antagande är rätt, den indexerar inga undermappar i katalogen.
Jag har skrivit lite om Robots.txt på min sida under Tips/Marknadsför hos sökmotorer.
Trådstart#1
Hur fungerar robots.txt?
T.ex. för nedanstående disallow-rad. Indexeras inte någon av underkatalogerna till /guestbook då? Eller måste man ange varje katalog, även underkataloger som inte får indexeras?
Disallow: /guestbook/