Recentemente em várias partes do mundo editores de conteúdo através de dados estatísticos notaram que o rastreamento de sites do Googlebot reduziu drasticamente e mais está mais lento.
por Mauro Queiroz
No documento de ajuda do Google encontramos a informação : “O Google tem algoritmos sofisticados para determinar a velocidade de rastreamento ideal para um site. Nosso objetivo é rastrear o maior número possível de páginas no seu site a cada visita, sem sobrecarregar a largura de banda do servidor“.
Confira aqui: https://support.google.com/webmasters/answer/48620?hl=pt
Isto quer dizer que depois de um certo tempo analisando seu site o algoritmo do Google definirá uma periodicidade rastreio para seu site ou loja. Em outras palavras se o seu site é somente atualizado a cada 2, 3, 6 meses ou mais. É com este dado que o Google definirá o tempo de rastreio do seu site impactando o esforço de SEO Rank.
Houve discussões constantes nas últimas semanas entre experts e empresas de rastreamento e análise de dados sobre o fato de que o Googlebot reduziu drasticamente o rastreamento. A atividade de rastreamento do Google diminuiu desde 11 de novembro de 2021.
Embora a desaceleração da indexação não tenha afetado todos os sites (aqueles que estão sempre atualizados), experts concordam que algo mudou no Google com relação à indexação de sites e provam isso através de dados analíticos. Vale ressaltar que o Googlebot rastreia o conteúdo do site.
O que isso tem a ver com você?
Se você possui um site ou loja virtual deve mantê-la sempre atualizada. Mude periodicamente banners promocionais, imagens, texto, publique novos posts em períodos curto de tempo. Não necessariamente todos de uma vez. Estabeleça uma agenda. O motivo veremos abaixo.
Se estiver precisando de monitoramento e manutenção de sites ou loja fale com a UNOPress
Evidência de rastejamento reduzido
Evidências das anomalias de rastreamento do Google têm se acumulado em milhões de sites pelo mundo. Alguns serviços de rastreamento e análise de log como o Seolyzer apresentou dados do comportamento de rastreamento do Google que mostrou uma queda dramática na atividade de rastreamento. “O Googlebot está em greve! O Googlebot reduziu drasticamente sua atividade de rastreamento em muitos sites grandes desde 11 de novembro às 18h (GMT).”, acrescenta.
Código de resposta do servidor 304 e rastreamento do Googlebot
Alguns notaram um padrão com o Googlebot que de repente não está rastreando mais páginas que exibem um código de resposta de servidor 304. Um código de resposta 304 significa 304 (que o site não foi modificado).
Esse código de resposta é gerado por um servidor quando um navegador (ou Googlebot) faz uma solicitação condicional de uma página.
Isso significa que um navegador (ou Googlebot) informa ao servidor que tem uma página da web salva em cache, portanto, e que não deve se preocupar em veiculá-la ou rastreá-la, a menos que a página tenha sido atualizada (modificada).
Em outras palavras, não há necessidade de o servidor transferir uma imagem do site porque a solicitação indica que o cliente já possui uma representação em cache válida; o servidor está, portanto, redirecionando o cliente para fazer uso dessa imagem representação armazenada como se fosse a atual.
Resposta 304 causa menos rastreamento do Googlebot?
Uma vez que um site apresente por longos períodos o código 304 (sem modificações), pode ser que estes períodos se tornem ao longo do tempo o prazo padrão de indexação e rastreamento para seu site. Lembra do que do que diz o Google?
“Algoritmos sofisticados para determinar a velocidade de rastreamento ideal para um site”
Notadamente diversos sites estão com um problema semelhante em que as páginas que atendiam a uma resposta 304 tinham taxas de rastreamento drasticamente mais baixas. Google diz que nada mudou, de fato mas o que está na página deixa uma pista bem clara.
O Google reduziu o rastreamento da página da web?
Há algumas alegações de que o Google parou de indexar completamente, mas isso não está incorreto. No entanto, há uma discussão significativa que comprovam que os padrões de indexação do Googlebot mudaram.
Mauro Queiroz, Jornalista e Analista de Sistemas
AI/UNO
