Leggendo i log ho scoperto... #3

| 2 Commenti | 1 TrackBack

... che contrariamente a quanto affermato, BlogBabel sembrerebbe ignorare il file robots.txt. Mentre il bot analizza con regolarità i feed XML, non c'è traccia di alcun download del file robots.txt, anche andando indietro nei log fino ad un anno.

$ zgrep -c -e '/robots\.txt.*?BlogBabel \+http://it\.blogbabel\.com/' access.log.*
access.log.2008-07-14.gz:0
access.log.2008-07-15.gz:0
access.log.2008-07-16.gz:0
# ... continua
access.log.2008-08-10.gz:0
access.log.2008-08-11.gz:0
access.log.2008-08-12.gz:0

L'accesso al feed è invece regolare.

$ zgrep -e '/blog/index\.xml.*?BlogBabel \+http://it\.blogbabel\.com/' access.log.*
access.log.2008-07-14.gz:212.35.215.119 - - [14/Jul/2008:02:19:31 -0700] "GET /blog/index.xml HTTP/1.1" 302 546 "-" "BlogBabel +http://it.blogbabel.com/" 
access.log.2008-07-14.gz:212.35.215.119 - - [14/Jul/2008:04:19:16 -0700] "GET /blog/index.xml HTTP/1.1" 302 546 "-" "BlogBabel +http://it.blogbabel.com/" 
access.log.2008-07-14.gz:212.35.215.119 - - [14/Jul/2008:06:21:23 -0700] "GET /blog/index.xml HTTP/1.1" 302 546 "-" "BlogBabel +http://it.blogbabel.com/"
# ... continua

Anche una ricerca per IP, meno restrittiva, conferma le analisi precedenti.

$ zgrep '212.35.215.119' access.log.* | grep -c 'robots.txt'
0
$ zgrep '212.35.215.119' access.log.* | grep -c 'index.xml'
319

Non avendo motivo di ritenere che quanto affermato sia un bluff, presumo ci possa essere un bug nel bot di Blogbabel.

1 TrackBack

TrackBack URL: http://www.simonecarletti.com/mt4/mt-script-tb.cgi/775

Un potenziale esempio di come non sempre sia vantaggioso avere un alto indice di popolarità per un motore di ricerca. Read More

2 Commenti

blogbabel è gestito proprio alla tarallucci e vino come dicono dalle mie parti...

sono rimasti chiusi tutto qul tempo per non risolvere niente?

ed il fantomatico logo nuovo?

neanche le basi del mestiere...

Bella domanda la tua Simone. Io però un'idea me la sono fatta :P

Scrivi un commento

Iscriviti al feed

Feed Non conosci i feed RSS? Hai paura che sia una fregatura? Questa breve presentazione fa al caso tuo... prenditi 5 minuti, è divertente! :)

Ultimi commenti

  • Napolux: Bella domanda la tua Simone. Io però un'idea me la continua...
  • Lala: blogbabel è gestito proprio alla tarallucci e vino come dicono continua...
Powered by Movable Type 4.2-en