... che c'è un nuovo tipo di crawler in casa Yahoo! che si identifica come Mozilla/5.0 (Yahoo-MMCrawler/4.0; mailto:vertical-crawl-support@yahoo-inc.com).
La comparsa di questo bot risale alla prima settimana di Luglio 2008 e sembra prediligere esclusivamente file multimediali, nello specifico immagini.
68.142.212.211 - - [15/Aug/2008:02:57:14 -0700] "GET /robots.txt HTTP/1.0" 200 405 "-" "Mozilla/5.0 (Yahoo-MMCrawler/4.0; mailto:vertical-crawl-support@yahoo-inc.com)" 68.142.212.211 - - [15/Aug/2008:02:57:14 -0700] "GET /blog/public/2007/05/come-segnalare-phishing/opera-report-phishing-thumb.png HTTP/1.0" 200 85650 "-" "Mozilla/5.0 (Yahoo-MMCrawler/4.0; mailto:vertical-crawl-support@yahoo-inc.com)"
Questo crawler sembrerebbe aderire al protocollo di esclusione basato su robots.txt.
Scrivi un commento