Che Google abbia qualche problema è oramai noto, lo confessano anche loro.
Oggi ho scoperto un dato un po’ “fastidioso” legato al crawling delle pagine e l’uso della banda.

In questo mese, su questo blog, sono state visitate ad oggi 77308 pagine da parte di utenti e 77977 da parte di spider.
Il consumo di banda, come riportato dal grafico, propende leggermente verso gli spider per valori di 1.03 GB da parte di utenti e ben 1.43 GB da parte di spider. E qui la prima domanda: ma gli spider non dovrebbero richiamare “solo testo”? Cioè, banalizzando, uno spider quando scansiona non carica (di norma) immagini, CSS, javascript… e allora come è possibile questo consumo?
Ma non è tutto.
Ho analizzato quali fossero gli spider più attivi e sono rimasto sconcertato!
Google, slow down baby!

Gli utenti hanno richiamato 77308 pagine per un consumo di 1.43 GB, Google da solo ha succhiato 23112+26 pagine per un consumo di 1.04 GB!
Non ho mai amato la matematica, ma questa proporzione mi sembra assurdo considerato che Google si appoggia ad uno spider! Cioè, di 1.43 GB di traffico di spider ben 1.04 GB è causato da Google.
Mmm, mi sa che qualcosa non funziona…


Concordo pienamente con te. Googleboot è sempre l’ultimo a passare e quando lo fa occupa troppa banda!
Ciao Simone,
il tuo post, così come molti altri, mi ha incuriosito.
Sono andato a controllare le mie stats, ma non ho trovato nulla di particolare nel consumo di banda da parte di ZioG.
Anzi, nel mio caso MSNBot ha consumanto quasi il doppio di Googlebot nel mese di maggio (fin’ora).
Per la cronaca al terzo posto al momento c’è InktomiSlurp e nonostante i consumi di banda più che doppi, MSN mi porta molte meno visite di ZioG
Cordialmente
Alfredo
Ciao! Ti ho mandato un’email, l’hai vista?
Da me MSNBot e Inktomi la fanno da padroni come accessi, anche se quello che ha consumato più banda è Googlebot
Ciao miss piperita,
sì, l’ho ricevuto ma cestinato poiché non era firmato ed è stato segato dal filtro antispam.
Scusa, non ricordo il contenuto.
Era per l’articolo su come fare un blog di successo…
@ miss piperita
Non ricordo, se era una richiesta rimanda l’email.