Robots.txt personalizado para Blogger

Robots.txt

O robots.txt é usado para informar aos rastreadores da Web como indexar e rastrear seu site para obter resultados de pesquisa.

User-agent: *

Esse é para permitir todos os robôs.

Disallow: /search

Isso significa que os links que possuem uma pesquisa por palavra-chave logo após o nome do domínio serão ignorados. Exemplo: https://www.tenta.com.br/search/label/Codes.

Se removermos a pesquisa Disallow: / do código padrão, os rastreadores acessarão todo o blog, indexando assim todo o conteúdo e as páginas. Isso não é bom, pois pode parecer conteúdo duplicado, além de ser um mau link de SEO.

Allow: /

Refere-se a Home, autoriza a indexação da página inicial do nosso blog. Mapa do site: https://www.tenta.com.br/sitemap.xml

User-agent: Mediapartners-Google

Este código é para o robô do Google Adsense, ele ajuda e melhora os anúncios em seu blog. 

Para adicionar ao Blogger, basta acessar Configurações > Preferências de pesquisa. No final da página, você terá a opção de colocar seu robots.txt personalizado.

Robots.txt personalizado para Blogger

# Permitir todos os robôs

User-agent: *

Disallow:

# Bloqueia

Disallow: /search

Disallow: /*_archive.html$

Disallow: /feeds/*

# Google AdSense

User-agent: Mediapartners-Google

Disallow:

# Indexar página inicial

Allow: /

# Sitemap xml para até 1000 entradas de postagens

Sitemap: https://seudomínio.com.br/sitemap.xml

# Indexar páginas (Eu quero)

Sitemap: https://www.seudomínio.com.br/sitemap-pages.xml

# Caso um dia você passe de 1000 postagens, basta tirar "#" da frente de Sitemap

#Sitemap: https://seudomínio.com.br/atom.xml?redirect=false&start-index=1001&max-results=1500