<>>

 

Setting Custom Robots.txt dan Header Tags Terbaru Untuk Blogspot

Pengertian Robot.txt
Apa yang dimaksud dengan Robot.txt ?
Robots.txt adalah sebuah ketentuan yang dibuat oleh mesin pencari, untuk mencegah situs web crawler dan robot situs web lain, baik dari perayapan sebagian maupun secara keseluruhan dari sebuah situs web.

Kenapa ? Harus memakai Robot.txt :
Robot ini berfungsi untuk melakukan pengawasan terhadap halaman-halaman situs web, agar dapat segera di index atau tidak sama sekali di index oleh mesin pencari seperti google, bing, yandex dan mesin pencari lainnya..

Apa yang dimaksud dengan Ter-Index ?

Artinya bahwa halaman situs web yang Anda buat akan terdaftar di halaman pencarian, contoh untuk google dari setiap halaman akan menampilkan 10 halaman situs web, dan masih terdapat jumlah halaman lain yang bisa dibuka oleh orang yang mencari sesuatu di dalamnya.

 

Setting : Custom Robots.txt dan Header TagsTerbaru Untuk Blogspot

Disaat situs web Anda menempati halaman misalkan halaman ke 5,4,3 ke 2 atau halaman pertama (1), maka kemungkinan besar situs web Anda akan dibanjiri pengunjung. Sehingga kata kunci (keyword) yang Anda targetkan pada situs web Anda memberikan hasil yang luar biasa.

Cara mengatur Custom Robots.txt di Blogspot.
Silahkan masuk ke dashboard blog Anda
Pilih menu Setelan (Settings)
Pilih Preferensi Penelusuran (Search preferences)
Klik Edit di Custom robots.txt

robots txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.nama-situsweb.com/sitemap.xml

www.nama-situsweb.com silahkan isi dengan nama situs web Anda
Settingan di atas termasuk umum dan banyak digunakan.

User-agent: Mediaparthners-Google artinya memperbolehkan robot yang juga merupakan partner google untuk merayapi situs web Anda.

Disallow: Tidak diijinkan
User-agent: * artinya selain robot google juga diperbolehkan untuk merayapi
Disallow: /search artinya tidak diperbolehkan untuk merayapi alamat pencarian
Allow: / Sitemap …. artinya diperbolehkan untuk dirayapi bagian file sitemap.xml situs web Anda.
Dan jika Anda menginginkan beberapa halaman situs web tidak di index oleh google, Anda bisa menambahkan script berikut :
Disallow: /p/kontak-kami.html

Jangan menggunakan beberapa script di bawah ini, bila tidak ingin situs web Anda tidak terindex.
Disallow: /* artinya semua halaman web tidak akan diizinkan untuk dirayapi
Disallow: /?m=1 artinya situs web Anda tidak akan dirayapi bila terdapat pengunjung dari seluler.
Disallow: /?m=0 termasuk juga ini
Disallow: /*?m=1 juga ini
Disallow: /*?m=0 dan ini.

Bila terdapat script tersebut pada file Robots.txt situs web Anda silahkan segera dihapus agar situs web Anda dapat normal kembali dan google dapat segera melakukan perayapan ulang.

Untuk mendapatkan hasil perayapan yang maksimal untuk halaman situs web, Anda dapat menambahkan script di bawah ini untuk disematkan di robots.txt blogspot situs web Anda

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
User-agent: Bingbot
Disallow: /search
Disallow: /p/kontak-kami.html
Disallow: /p/tentang.html
Allow: /
Sitemap: https://www.nama-situsweb.com/sitemap.xml

Penggunaan Googlebot dan Bingbot dapat lebih memfokuskan perayapan terhadap halaman situs web Anda, sehingga mendapatkan perayapan yang maksimal. Dengan script robots.txt blogspot di atas sangat baik dan aman untuk digunakan pada setiap situs web.

Baca Juga : Trik SEO untuk Blogspot

Cara Mengatur Custom Header Tags Untuk Blogspot
Pada Custom Header Tags khusus bisa diaktifkan
Pada Header page : ceklis all

seting robot txt
Pada Archive and search pages : ceklis nonindex dan nosnippet

 

Pada Default for Post and Page : ceklis all

 

Tujuan dari pengaturan custom robots txt blogspot ini adalah untuk mempercepat robot mesin pencari melakukan perayapan terhadap situs web ,dan mempercepat halaman situs web – blog Anda tampil di halaman mesin pencarian Google, Bing,Yahoo, Yandex dan mesin pencarian lainnya.


admin

Menekuni sebagai blogger dan pengelolaan website , optimalisasi SEO website serta maintenance website secara profesional dan penyedia layanan jasa SEO website yang berkedudukan di Indonesia.

id Bahasa Indonesia
X
<Addurl.nu>
Enable Notifications    OK No thanks