Mencegah website terindeks search engine
Ini materi yang sangat – sangat jarang dibutuhkan. 😀 Kebetulan saya sedang ada kebutuhan menghapus seluruh indeks satu website dari search engine (Google terutama, yang lainnya bonus).
Karena masih dalam proses migrasi konten secara bertahap jadi tidak bisa dimatikan begitu saja, akhirnya ambil jalan tengah menginstruksikan mesin pencari agar membuang hasil telusurnya saat update berikut.
Bagaimana caranya? Bisa pakai meta tag atau response header dengan informasi noindex, tapi karena saya malas mengedit – edit kedua hal itu akhirnya saya pakai yang termudah, yakni edit robots.txt dan memblokir seluruh akses bot search engine.
User-agent: *
Disallow: /Sudah itu saja, nanti saat bot datang lagi dan menemukan update baru dari filenya maka (bagi bot yang benar) akan menaatinya. Pelan – pelan nanti indeksnya akan hilang dari hasil pencarian. Biasanya dalam 1-2 minggu totalnya.
Tambahan. Bisa gunakan header:
Kalo gak mau di indeks, itu sudah di bahas di blog saya, hehe 😀
Oh trims mas Farrel. Tapi header ini apa bukan hanya untuk membersihkan nilai HTTP referrer header (penunjuk) halaman? Kalau baca dokumentasinya saya kok malah bingung kok bisa jadi tidak terindeks. 🙂
Mungkin nanti saya lengkapi saja dengan semua metode tutorialnya. 😀
berarti sifatnya temporer ya mas?stelah migrasi selesai di onkan lg, Gugel akan ngindex lagi posting yg terdahulu begitulah?
Permanen selama aktif mas. 😀
Kalau mau diindeks lagi bisa dihapus, ditunggu. Atau pakai Google Search Console dan lakukan indeks manual.