Dilansir dari Liputan Indonesia, Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.
Menguji file robots.txt
- Buka alat penguji situs Anda, dan scroll kode
robots.txtuntuk menemukan peringatan sintaksis dan error logika yang ditandai. Jumlah peringatan sintaksis dan error logika segera ditampilkan di bawah editor. - Ketik URL halaman pada situs Anda dalam kotak teks di bagian bawah halaman.
- Pilih agen pengguna yang ingin Anda simulasikan pada daftar tarik-turun di sebelah kanan kotak teks.
- Klik tombol UJI untuk menguji akses.
- Periksa untuk melihat apakah tombol UJI sekarang menjadi DITERIMA atau DIBLOKIR untuk mengetahui apakah URL yang Anda masukkan diblokir dari web crawler Google.
- Edit file di halaman dan uji kembali jika perlu. Perhatikan bahwa perubahan yang dilakukan pada halaman tidak tersimpan ke situs Anda. Lihat langkah berikutnya.
- Salin perubahan ke file robots.txt pada situs. Alat ini hanya menguji salinan yang dihosting pada alat dan tidak mengubah file aktual di situs Anda.
Batasan alat Penguji robots.txt:
- Alat ini hanya berfungsi dengan properti awalan URL; tidak berfungsi dengan Properti domain.
- Perubahan yang Anda lakukan di editor alat tidak tersimpan secara otomatis di server web. Anda perlu menyalin dan menempel konten dari editor ke file
robots.txtyang tersimpan di server. - Alat Penguji robots.txt hanya menguji
robots.txtdengan agen pengguna atau perayap web Google, seperti Googlebot. Kami tidak dapat memprediksi penafsiran web crawler lain atas filerobots.txtAnda.
Klik disini -> Webmasters tools robots testing tool
Penulis :
Baca juga:
"Berita Terbaru Lainnya"
"Berita Terbaru Lainnya"
COMMENTS