Esta é uma pergunta comum e existem algumas maneiras de resolver este problema:

1 - Arquivo robots.txt
Criar um arquivo chamado robots.txt e colocá-lo na raiz do site.

Neste arquivo devem ser colocadas as regras desejadas para que o Google não rastreie:

User-agent: o robô que vai receber a regra seguinte
Disallow: as páginas que você deseja bloquear

Exemplos:

a) Bloqueia o diretório cadastro da indexação:
User-agent: Googlebot
Disallow: /cadastro

b) Bloqueia a indexação de arquivos PDF
User-agent: Googlebot
Disallow: /*.pdf$

c) Bloqueia o arquivo funcionarios.html no diretório /cadastro
User-agent: Googlebot
Disallow: /cadastro/funcionarios.html

Veja mais em:
http://www.robotstxt.org/robotstxt.html
http://www.google.com/support/webmasters/bin/answer.py?answer=35303

2 - Usando META TAGs para bloquear conteúdo

Outra maneira de bloquear conteúdo é incluir a seguinte linha entre as tags do site:

Veja mais em:
http://www.robotstxt.org/meta.html

Este conteúdo foi publicado em Sexta, 16 de Maio de 2008 às 08:36 e está arquivado em Profissional Web, Google. Você pode acompanhar quaisquer comentários a esta publicação através do RSS 2.0. Você pode deixar uma resposta, ou link do seu próprio site.

 | Enviar por e-mail  | Hits para esta publicação: 341