Participando dos resultados nas listagens dos sistemas de busca

Novos sites não precisam ser necessariamente "enviados" aos sistemas de busca para serem listados. Um simples link vindo de um website já estabelecido fará com que os sistemas de busca visitem o novo site e inicie o mapeamento do conteúdo. Isto pode levar alguns dias ou mesmo semanas para a indexação do link existente em um site já indexado em todos os principais sistemas de busca e spiders para iniciar a visitação e indexação do novo site.

Uma vez que os sistemas de busca encontrem o site dará início então ao mapeamento das informações e páginas do site, contanto que todas as páginas usam as tags de link com padrão hyperlinks. Links para páginas que são acessíveis somente através de aplicativos em Flash ou Javascript podem não ser encontrados pelos spiders.

Os Webmasters podem instruir os spiders para não indexar certos arquivos ou diretórios através do arquivo padrão robots.txt como guia na raiz do domínio. Os protocolos atuais para as máquinas de busca e spiders exigem que seja verificada a existência deste arquivo ao visitar um domínio, e mesmo que um spyder ou motor de busca mantenha uma cópia oculta deste arquivo para uso na próxima visita as páginas do site, não pode atualizar essa cópia tão rapidamente quanto um webmaster. Os empresários da área de Desenvolvimento Web podem usar estes recursos para prevenir que determinadas páginas tal como carrinhos de compras ou outras páginas dinâmicas, conteúdo de uso específico de operadores apareçam em resultados sistemas de busca, assim podem manter os spyder distantes de certos arquivos.

Spider de sistemas de busca podem observar um número variado de fatores quando estiverem navegando em um site, e muitas páginas de um site podem não ser indexadas pelos sistemas de busca até que elas adquiram mais pagerank ou links ou tráfego. A distância das páginas do diretório inicial de um site pode também ser um fator decisivo se uma página vai ou não ser navegada pelo spider, bem como outras métricas importantes. Cho et al.[7] descreveu alguns padrões para essas decisões de quando uma página visitada deve ser indexada pelo sistema de busca.

Para aqueles sistemas de busca que possuem seu próprio sistema de envio pago (como o Yahoo!), pode-se poupar algum tempo ao pagar um valor de envio, no entanto, o programa de envio pago não garante a inclusão no seus resultados de busca.



Para classificar os sites, os mecanismos de busca levam em consideração os seguintes aspectos:

• Tempo de registro do domínio (Idade do domínio)
• Idade do conteúdo
• Freqüência do conteúdo: regularidade com a qual novo conteúdo é adicionado
• Tamanho do texto: número de palavras acima de 200-250 (não afetava o Google em 2005)
• Idade do link e reputação do site que o aponta
• Características padrão da página
• Pontuação negativa sobre as características da página (por exemplo, redução para sítios web com utilização extensiva de meta-tags de palavra chave, indicativos de terem sido artificialmente otimizadas)
• Originalidade do conteúdo
• Termos relevantes utilizados no conteúdo (os termos que os buscadores associam como sendo relacionados ao tema principal da página)
• Google Pagerank (usado apenas no algoritmo do Google)
• Quantidade de links externos
• O texto âncora contido nos links externos
• Relevância do site que linka para o seu website
• Citações e fontes de pesquisa (indica que o conteúdo é de qualidade para pesquisa)
• Termos relacionados na base de dados do mecanismo de busca (financiar/financiamento)
• Pontuação negativa para links de chegada (provavelmente advindos de páginas de baixo valor, links de chegada recíprocos, etc.)
• Ritmo de aquisição dos links de chegada: muitos ou incremento muito rápido pode indicar atividade de comercial de compra de links
• Texto próximos aos links que apontam para fora e os links de chegada. Um link acompanhado das palavras "links patrocinados" pode ser ignorado
• Uso da tag "rel=nofollow" para esculpir o ranking interno do website
• Profundidade do documento no site
• Métricas coletadas de outras fontes, tais como monitoramento da frequência com a qual usuários retornam clicando em voltar quando as SERPs as enviam para uma página em particular (Bouncerate)
• Métricas coletadas de fontes como Google Toolbar, Google AdWords/Adsense, etc.
• Métricas coletadas de compartilhamento de dados com terceiros (como provedores de dados estatísticos de programas utilizados para monitorar tráfego de sítios (sites))
• Ritmo de remoção dos links que apontam para o site
• Uso de sub-domínios, uso de palavras-chave em sub-domínios e volume de conteúdo nos sub-domínios, com pontuação negativa para esta atividade
• Conexões semânticas dos documentos servidos
• IP do serviço de hospedagem e o número/qualidade dos demais sites hospedados lá
• Uso de redirecionamentos 301 ao invés de redirecionamentos 302 (temporário)
• Mostrar um cabeçalho de erro 404 em vez de 200 para páginas que não existem
• Uso adequado do arquivo robots.txt
• Frequência de tempo em que servidor se encontra ativo (Confiabilidade)
• Se o site mostra conteúdo diferente a diferente tipos de usuários ou crawlers (cloaking)
• Links "quebrados"
• Conteúdo inseguro ou ilegal
• Qualidade da codificação HTML, presença de erros no código
• Taxa real de cliques observados pelo mecanismo de busca para as listas exibidas na SERPs
• Classificação de importância feita por humanos nas páginas com acessos mais frequentes - ODP

Alguns métodos considerados próprios pelos sistemas de busca

• Usar um título pequeno, único e relevante ao conteúdo do site.
• Edição das páginas web, para que elas mostrem assunto relevantes na qual foi designada a fazer, para que os usuários não tomem supresas ao acessá-las.
• Aumentar o número de conteúdo relevante do site.
• Utilização de uma descrição "meta" de tamanho otimizado (160 caracteres aproximadamente), que seja adequada ao conteúdo relacionado, sem excessos.
• Ter certeza que todas as páginas são acessíveis pelos links regulares, e não por algum scrip, ou outro método que dificulte o entendimento pelos motores de busca.
• Permitir que os spiders dos motores de busca possam utilizar seus crawlers nas páginas do site que deseja indexar, sem necessidade de aceitar sessões com cookies e fatores relacionados.
• Desenvolvimento de links por métodos naturais, como é descrito nas principais recomendações.
• Participação em webring com outros websites é permitido desde que os demais sejam independentes, relevantes ao mesmo tópico, e comparáveis em qualidade.