O que é Robot Friendly?

Robot Friendly é um termo usado no exterior para afirmar quando um site é amigo dos buscadores, ou amigo do robô (spider).

Por que tornar o meu site Robot Friendly?

A primeira pergunta que devemos nos fazer é: por que alguns sites ficam sempre no topo dos resultados das buscas, independente se ele é patrocinado ou não?

Os robots possuem uma série de regras, que são colocadas em prática quando eles acessam algum site, para determinar a relevância do mesmo, para uma determinada palavra-chave.

Alguns destes sites precisam trabalhar muito para conseguir um lugar na primeira página, pois de palavra em palavra a concorrência varia e da mesma forma que você trabalha para sempre tornar o seu site relevante, a concorrência também não para.

Alguns sites possui muitos links, muitos mesmo, e alguns deles são favoritados pelos buscadores, ou seja, além de ser seu concorrente, o site ainda é favorito dos buscadores naquela palavra chave. Tem coisas que só o tempo pode dizer se o seu destino será o fracasso ou a vitória.

De todos os usuários na internet, a grande maioria deles não passam da segunda, terceira página de resultados em um buscador. Saibam que primeira página do google, é um reflexo do que a sociedade precisa e procura.

Se eu vou no buscador e procuro por “Windows“, ele não vai apresentar nos primeiros resultados uma fábrica americana enorme de janelas concorda? por mais que faça sentido é verdade… da mesma forma que se eu ir no buscador e procurar por “banco” ele também não vai trazer uma pagina inteira cheia de lojas que vendem bancos e cadeiras.

O fato da grande maioria dos usuários não passarem da primeira página, é o que mais encorajam as pessoas para sempre estar otimizando os seus sites, para estarem sempre nas buscas. Uma página a mais que se ganha pode gerar um lucro e um aumento de tráfego considerável para a sua empresa.

Como faço para tornar meu site amigo?

Em novembro de 2006 praticamente todos os maiores sistemas de busca concordaram em utilizar o padrão do sitemaps. No site do projeto, possuí todas as regras que os buscadores concordaram em seguir, para indexar suas páginas.

Se você tem problemas na hora de gerar o sitemaps, por não conseguir instalar o programa no servidor, fornecido pela google (em python) ou por não ter estrutura de servidor para ativar a ferramenta, na internet possui alguns sites ou softwares que são capazes de gerar gratuitamente para você, basta informa a URL ou pode também ser feito através da internet.

Recomendo o uso do programa GSiteCrawler para gerar este arquivo. Uma boa maneira de começar a “relacionamento” positivo com os buscadores é fornecendo este arquivo sitemap.xml através do Google Webmaster Tools, nesta ferramenta você indica a url do local onde esta o sitemap no seu domínio para que o google indexe as suas páginas de maneira mais prática e mais rápida.

O legal é que no sitemap você consegue fornecer a prioridade de cada arquivo e a frequência que o arquivo é atualizado para que o google sempre forneça um conteúdo atualizado no seu buscador.

Recentemente uma notícia bem legal foi dada pelos buscadores Google, Yahoo e Ask, indicando uma nova forma de indicar o local do arquivo sitemaps que seria indicando o seu endereço dentro do arquivo robots.txt.

Uma coisa que poucos sabem, é que o robots.txt é uma outra maneira de dar um passo a mais no relacionamento positivo com o seu buscador. Além do robots.txt servir para apontar as regras que o robot deverá seguir para indexar suas páginas, serve também para indicar para o buscador que o seu site esta online a ativo.

Imagine um grupo de 40 mil sites, 10% deles tem chances de estar offline, para verificar se um site esta online ou offline o retorno pode demorar de 15 a 30 segundos, multiplique isso pelos 10% destes 40 mil e você obterá o tempo perdido pelo spider para estes que estão offline, agora imagina o quão “P. da vida” o spider deve ficar com o seu endereço.

Sendo assim, crie um arquivo robots.txt mesmo que seja em branco, você ganha pontos.

Agora segue algumas dicas que podem tornar o relacionamento do seu site com o seus buscadores mais saudável e positivo:

• Faça com que todas as páginas do seu site sejam acessíveis a partir da página principal, não mais do que 3 cliques.
• Crie o sitemap para o seu site indicando quais páginas você gostaria que o buscador indexe.
• Considere ter no máximo 250-300 palavras em cada página do seu site, se você cria páginas muito longas, os spiders podem ignora-la. Geralmente os buscadores não indexam mais do que 100kb de textp mas páginas.
• Evite colocar conteúdo em imagens ou em animações flash de forma não acessível, os buscadores não conseguem adivinhar o que tem nas imagens.
• Tenha certeza de que seu site não tenha links quebrados ou erros comuns expostos.
• Se possível não use crie navegações via script, os buscadores não conseguem ler tais scripts.
• Se o seu site possui páginas dinâmicas, evite passar muitos parâmetros via query string, os buscadores não são espertos o suficiente para entender todos os parâmetros
• Você pode usar o arquivo robots.txt para informar o spider como ele deve se portar no seu site.
• Tenha certeza de que o seu site esta online o tempo todo.
• Faça com seu site seja indicado em grandes sites do seu ramo de atuação ou relacionados ao conteúdo do seu site, isso fará com que seu site seja indexado rápidamente e com um nível alto de page-rank.
• Dê uma atenção especial para as suas metas tags. Apesar delas estarem começando a ser extintas pelo uso de valor dos buscadores, a maioria delas tendem a desaparecer com o tempo, mas recomendo que não as ignore.

Estas são algumas das dicas para melhorar o relacionamento do seu site com os spiders. Temos que levar em consideração também que os buscadores não são preciptados, um grande número de sites são colocados no ar todos os dias e um fator crucial para saber se o site vai ou não para o topo é o “tempo de vida” de um portal. A idade do domínio influência muito na relevância e na força das palavras chaves que estão expostas no site.

Leitura complementar:
Meta Tags: Será que o titulo esta muito grande?

Espero ter contribuído!
[]’s