Come analizzare i LOG del server con Screaming Frog Log File Analyser

Una delle cose che amo di più è quando si può rendere qualcosa che potrebbe risultare complesso a molti in qualcosa di molto semplice. Oggi vi parlo del nuovo software Log File Analyser lanciato sempre dagli sviluppatori di Screaming Frog.

Se Screaming Frog era già uno degli strumenti preferiti per analizzare il vostro sito o quello dei vostri clienti, Log File Analyser potrebbe diventare il secondo strumento della lista. Grazie alla sua semplicità sarà possibile analizzare milioni di righe in poco tempo potendo risparmiare ore e ore di analisi per individuare il problema che magari blocca l'indicizzazione da parte dei BOT, Google compreso.

 

Cosa sono e a cosa serve analizzare i LOG del server 

Per rimanere nel semplice possiamo dire che i LOG del server sono degli eventi e analizzarli ci aiuta a capire cosa sta succedendo sul nostro sito ed in particolar modo per controllare se da parte di Google l'accesso al nostro sito risulta essere sempre su uno "stato corretto". 

Se siete alle prime armi la prima cosa da fare è capire a cosa corrispondono i vari codici di risposta del server 200, 404, 500, etc. etc. Se abbiamo in mente cosa individuano questi codici siamo già ad un bel passo avanti del lavoro.

Nella pratica sapere come i vari BOT di Google, BING, Baidoo & CO spiderizzano il nostro sito ci ritornerà utile in caso abbiamo riscontrato dei problemi di indicizzazione delle pagine.

Esempio pratico e come usare Screaming Frog Log File Analyser

Qui a seguire vi riporto un esempio pratico che ci aiuta a capire le funzionalità di Screaming Frog Log File Analyser e l'analisi dei LOG in concreto.

Quello che ci serve:

• Versione a pagamento del software LOG File Analyser che potete scaricare da qui anche in versione demo. Vi segnalo già a pagamento visto che con la versione demo potrete analizzare una quantità di eventi davvero irrisoria.
• Un file compresso dei file di LOG zipped / gzipped
• Intuito e buona volontà di capire cosa sta succedendo sul vostro sito.

Video ufficiale di come funziona Screaming Frog Log File Analyser

Uscito da circa 2 settimane posso già dirvi che questo software è già entrato fra i miei preferiti e l'analisi anche di un mese di LOG risulta estremamente facile. Considerate che un mese di LOG del server significa avere diversi milioni di righe che si dovrebbero "greppare" o comuque filtrare in un qualche modo...

Con questo software capire quante url uniche vengono scasnionate dal bot di Google e altri bot, quanti errori riusciamo a generare col nostro sito e altri eventi importanti sarà quasi un "gioco da ragazzi."

Una volta inserito il primo file di LOG da analizzare potremo avere subito una panoramica di:

• Quanti eventi sono stati generati
• Quante url uniche sono state scansionate
• Quanti errori sono stati rilevati 
• Quante ulr con redirect 
• Quante url vengono scansionate giornalmente
• ...

Con tutti questi dati potremo applicare dei filtri potendo scegliere il periodo, il bot, il tipo di errore e molti altri parametri da analizzare che potranno farci scoprire cose interessanti...

Se dalla Search Console notate dei movimenti strani potrete utilizzare questo software per capire meglio cosa sta succedendo. Vi assicuro che i dati combaciano alla perfezione con la differenza che potrete avere nel dettaglio cosa sta succedendo per le singole pagine.

Da quello che potrete capire questo strumento vi aprirà un nuovo mondo per analizzare dei siti con dei problemi di indicizzazione di pagine o anche per "puro divertimento".

Case History veloce

Il primo caso in cui è stato utilizzato il software (ancora da monitorare essendo un progetto recente) è stato un sito con circa 3 milioni di pagine dove venivano scansionate una percentuale molto bassa di pagine al giorno. Andando ad analizzare i file di LOG abbiamo scoperto a nostra sorpresa che non era il BOT di Google ad apprezzare maggiormente il sito, ma bensì quello di BING.

La prima cosa che abbiamo provato a fare è stato bloccare momentaneamente le richieste di BING e "magicamente" il BOT di Google ha dato un segno di vita andando ad aumentare esponenzialmente le richieste giornaliere delle pagine. Dalla Search Console è stato possibile vedere già il giorno successivo l'impennatta delle url scansionate giornalmente... Qui a seguire il grafico dove è possibile vedere il blocco sul BOT di BING e successivamente l'impennata delle url scansionate da parte del BOT di Google:

Al di là di questa piccola case history, l'obiettivo del post era quello di segnalare in primis il nuovo tool e far capire che in determinate situazioni potrebbe risultare molto utile sapere cosa sta succedendo sul vostro server in caso ci dovessero essere delle anomalie sul vostro sito...