(toc)
Bisakah saya memblokir hanya robot yang buruk?
Secara teori ya, dalam praktiknya, tidak. Jika robot jahat mematuhi /robots.txt, dan Anda tahu nama yang dipindainya di bidang Agen-Pengguna. maka Anda dapat membuat bagian di /robotst.txt Anda untuk mengecualikannya secara khusus. Tetapi hampir semua robot jahat mengabaikan /robots.txt, sehingga tidak ada gunanya.
Jika robot jahat beroperasi dari satu alamat IP, Anda dapat memblokir aksesnya ke server web Anda melalui konfigurasi server atau dengan firewall jaringan.
Jika salinan robot beroperasi di banyak alamat IP yang berbeda, seperti PC yang dibajak yang merupakan bagian dari Botnet besar , maka itu menjadi lebih sulit. Pilihan terbaik kemudian adalah menggunakan konfigurasi aturan firewall lanjutan yang secara otomatis memblokir akses ke alamat IP yang membuat banyak koneksi; tapi itu bisa mengenai robot baik juga robot jahat Anda.
