Statistik akses dan Blok Yahoo Slurp

Statistik akses server repositori IGOS Nusantara menunjukkan banyak akses dari beragam web crawler. Web crawler adalah program seperti robot yang menjejah situs/web kemudian mengunduh halaman situs yang dijelajahi. Statistik bulan Oktober 2010 menunjukkan akses Viewed traffic=1864.97 GB, sedangkan akses Not viewed traffic=43875.89 GB. Akses Not viewed traffic adalah akses yang berasal dari robots, worm, atau jawaban/respon dari status kode khusus HTTP. Web crawler yang paling banyak memakai bandwidth selama Oktober 2010 adalah Yahoo Slurp sebesar 231.11 GB, September 2010 sebesar 108.92 GB. Yahoo Slurp sangat tidak cerdas melakukan crawler. Repositori yang tidak mengalami banyak perubahan di crawler berulang-ulang setiap hari.

Crawler yang tidak cerdas seperti Yahoo Crawler perlu di blok, karena memakai banyak bandwidth dan tidak memberi manfaat. Sebagian besar hasil pencarian berasal dari Google. Blok crawler dapat dilakukan dengan menempatkan berkas robots.txt.

Blok HANYA Yahoo Slurp
User-agent: Yahoo-slurp
Disallow: /

Blok SEMUA crawler, perbolehkan Googlebot dan Msnbot
Cara1:
User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Msnbot
Disallow:

Cara2:
User-agent: Googlebot
User-agent: Msnbot
Disallow:

User-agent: *
Disallow: /

You can leave a response, or trackback from your own site.

3 Responses to “Statistik akses dan Blok Yahoo Slurp”

  1. Raden says:

    Simple tp berguna sekali.. thank you banget! keep up!

  2. pakdar says:

    Tgl 22-5-2012 sehari saya kehilangan 35G,
    semoga tutorialnya bisa membantu… (ijin mau nyoba ya)
    Terima kasih

Leave a Reply