Googlebot non riesce ad accedere ai file CSS e JS su... Cosa devo fare?

In questi giorni Google sta inviando il messaggio Googlebot non riesce ad accedere ai file CSS e JS su nomesit.it. Vediamo cosa significa, perchè Google invia questo messaggio e come risolvere per non visualizzarlo in futuro.

All'interno del Webmaster Tool diventato Search Console potremo vedere se il nostro sito ha ricevuto il messaggio Googlebot non riesce ad accedere ai file CSS e JS su... e controllare quali sono questi file.

Per poter conoscere i file CSS e JS che stiamo bloccando ci basterà andare alla voce Scansione-> Visualizza come Google o cliccare sul messaggio che avete ricevuto direttamente sul pulsante Visualizza come Google.

 

Una volta raggiunta la nuova schermata potete cliccare direttamente sul pulsante recupera e visualizza e vedere il risultato che restituisce.

Il consiglio è quello di fare la scansione su tutti i comportamenti del vostro sito e non solo sulla homepage in modo da vedere se ci sono file CSS e JS diversi.

Quello che dovrete fare una volta finita la scansione sarà cliccare sul risultato che nella maggior parte dei casi risulterà Parziale.

Cliccando sopra il risultato sarà possibile avere due schermate, quello che vede il bot di Google e l'utente. Potrebbe capitare che quello che vedrete non sarà quello che vi aspettavate.

Perchè Google vuole accedere ai file CSS e JS?

Google vuole accedereai file CSS e JS per il fatto che deve fare il rendering della pagina in modo corretto. L'esempio che vi chiarirà ogni dubbio è l'ultimo aggiornamento dove Google chiede di rendere Mobile Friendly il proprio sito internet. In caso abbiate bloccato CSS e JS molto probabilmente Google non vedrà il vostro sito responsive rendendo il vostro lavoro inutile.

Cosa fare per poter eliminare il messaggio Googlebot non riesce ad accedere ai file CSS e JS su...?

Per poter eliminare questo messaggio dovrete andare a controllare il file robots.txt ed essere sicuri di non bloccare risorse utili per il rendering delle vostre pagine.

Se ad esempio cancellerete completamente il file robots.txt e nella voce Tester dei file robotx.txt invierete il nuovo file non esistente tramite il pulsante Invia, potrete vedere che con una seconda scansione come descritto sopra il problema non sarà più presente visto che avrete eliminato il blocco a tutti i file CSS e JS.

Se invece il blocco delle cartelle o singoli file per voi sono necessario all'interno del file robots.txt, quello che dovrete fare sarà aggiungere delle righe Allow: contenuto da sbloccare.

Esempio classico (reale) di robots.txt su Wordpress (a mio avviso da non fare):

User-agent: *
Crawl-Delay: 300
Disallow: /wp-
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Esempio di come potrebbe essere modificato il file robots.txt in modo da non bloccare le risorse richieste da Googlebot:

User-agent: *
Crawl-Delay: 300
Disallow: /wp-
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/ 

Allow: /wp-content/uploads/
Allow: /wp-content/themes/nometema/
Allow: /wp-includes/js/jquery/jquery.js
Allow: /wp-includes/js/jquery/jquery-migrate.min.js 

Ovviamente questo è un esempio banale che potrete risolvere in modo sicuramente più elegante andando a togliere dei disallow inutili...