Googlebot

Googlebot: il crawler di Google

Googlebot è il software di crawling di Google. Il suo compito, come quello dei crawler utilizzati dagli altri motori di ricerca, è quello di scandagliare il web alla ricerca di nuovi siti web e nuove pagine, con l’obiettivo di aggiungerle all’indice di Google.

I crawler lavorano in continuazione per offrire agli utenti informazioni sempre aggiornate e pertinenti.

Differenza tra indicizzazione e posizionamento

Non dobbiamo confondere i due termini, anche se sono strettamente legati uno all’altro.

L’indicizzazione avviene quando un nuovo contenuto sul web viene riconosciuto da crawler come Googlebot e inserito in un vasto indice virtuale. Queste risorse devono pertanto essere ordinate, catalogate e archiviate per essere poi elaborate dagli algoritmi utilizzati dai motori di ricerca per stabilire il ranking di posizionamento. Un sito internet o una pagina che non appare nell’indice di Google non apparirà dunque in nessun tipo di ricerca.

Quando avviene l’indicizzazione, vengono memorizzate tutte le informazioni utili al motore di ricerca per il posizionamento: data di inserimento, tipo di keyword presenti, link interni ed esterni, etc.

Il posizionamento, pertanto, è il passo successivo all’indicizzazione. In base alle informazioni raccolte, Google stabilisce in quale posizione fare apparire il sito o la pagina specifica quando un utente digita una query correlata.

Come facilitare il lavoro di Googlebot

Per facilitare il lavoro di Googlebot e consentirli di accedere facilmente a tutte le pagine di un sito si possono applicare diverse tecniche. Prima di tutto sarà opportuno verificare l’effettiva presenza del sito e di tutte le sue risorse nell’indice di Google grazie a uno strumento gratuito messo a disposizione dal potente motore di ricerca: Google Search Control. Grazie a questa piattaforma potremo verificare se ci sono o meno problematiche nell’indicizzazione di alcune pagine, quali siti ci hanno linkato o verificare il traffico del sito stesso.

Un metodo efficace per spianare la strada a Googlebot è quello di creare una sitemap, un documento che riporta tutte le pagine che compongono il sito.

Grazie a una SEO audit si potranno poi evidenziare eventuali criticità a livello del codice o dell’URL. Anche l’utilizzo ottimale di Tag e Meta Tag può facilitare di molto il lavoro di identificazione e classificazione da parte di Google bot.

Da non sottovalutare è anche l’importanza della Brand Awareness e della Digital PR. Grazie a queste tecniche si potranno ottenere link esterni che rendono non solamente più facile l’identificazione del sito da parte dei crawler ma anche il successivo posizionamento nella SERP.

Attenzione alle pagine “orfane”

Una pagina orfana (in inglese “orphan page”) non ha alcun link proveniente da altre pagine del sito o da risorse esterne. Non avendo alcun collegamento con altre risorse presenti sul web, diventa davvero difficile da trovare, sia da parte di altri utenti che da parte dei crawler.

Una pagina orfana in rari casi può essere creata per scopi specifici. Ad esempio può trattarsi di una pagina di ringraziamento o di una conferma di invio di un form. Nella stragrande maggioranza dei casi, comunque, viene a crearsi per errori non voluti, come errori di codifica o per la rimozione di un collegamento.