Cara aktifkan robots.txt dan tag header robot kustom di Blogger

DAFTAR ISIBUKATUTUP

Robots.txt dapat diartikan sebagai sebuah file teks yang otomatis tertanam dalam blog khususnya di Blogger yang biasanya berisi sekumpulan baris perintah kepada perayap dari mesin pencari apakah halaman tertentu di blog kita boleh dirayapi atau tidak.

Kalau sekumpulan baris perintah memperbolehkan untuk dirayapi maka halaman tersebut akan terindex dan bisa muncul dimesin pencari dan sebaliknya.

Cara aktifkan Robots.txt Kustom

1. Pengaturan / Setelan.

2. Crawler dan pengindeksan.

Tap tombol hijau untuk meng-aktifkan dan tap Robots.txt Kustom untuk membuka kotak tempat penyimpanan kode perintah, seperti gambar dibawah ini.

Berikut ini contoh 4 baris perintah.

Secara default jika diaktifkan kode berikut otomatis ada, namun jika tidak ada silakan salin saja yang dibawah ini dengan mengubah sedikit alamat "jaeyzona" dengan alamat blog anda.

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://jaeyzona.blogspot.com/sitemap.xml

Keterangan:

User-agent: *

Semua mesin pencari baik google, bing maupun yandex diperbolehkan untuk merayapi semua halaman.

Disallow: /search

Halaman /search tidak dizinkan.

Halaman search/pencarian sudah satu paket dengan halaman /label jadi tidak perlu menyertakan halaman /label untuk "tidak diizinkan" karena sudah terwakilkan oleh /search.

Allow: /

Semua halaman bertanda garis miring didepan di izinkan dan sebaliknya.

Sitemap:

Perintah untuk merayapi sitemap.

Kalau digabungkan 4 baris kode tersebut dapat dibaca seperti ini:

Semua halaman diizinkan untuk dirayapi/di-indek kecuali halaman search/pencarian dan di-izinkan untuk merayapi semua halaman yang berawalan garis miring dan di-izinkan merayapi sitemap.

* Mengapa halaman search tidak diizinkan? karena kalau diizinkan kuatir tidak baik buat Seo blog sebab halaman search alamatnya sering berubah2, hal yang berubah2 semacam ini kurang baik buat Seo dan selain itu bertujuan agar halaman lain diutamakan cepat terindex.

* Sitemap boleh dihapus dari baris perintah dan boleh memasang lebih dari satu alamat sitemap pada baris baru, misal:

Sitemap: https://jaeyzona.blogspot.com/sitemap.xml

Sitemap: https://jaeyzona.blogspot.com/feeds/posts/default/

* Susunan tiap baris dari isi robots.txt sebaiknya tidak berjarak.

Dianjurkan:

Tidak dianjurkan:

Selain itu, untuk dapat melihat pengaturan robot blog kita maupun situs lain, silakan akses alamat dari browser, contoh: https://jaeyzona.blogspot.com/robots.txt

Semua situs biasanya menggunakan nama yang sama yaitu robots.txt

Cara aktifkan Tag Header Robot Kustom

Selain robots.txt juga terdapat Tag Header Robot yang pengaturannya lebih spesifik.

Tag halaman Beranda, cukup conteng "All" yang lain biarkan saja.

Tag arsip dan halaman penelusuran, jangan diconteng "All dan Unavailable_after" sedangkan yang lain conteng saja semua.

Tag postingan dan halaman, cukup conteng "All" yang lain biarkan saja.

Pada kesimpulannya semua pengaturan diatas bertujuan agar halaman penting seperti beranda dan postingan cepat terindex. Dan agar mesin pencari tidak buang-buang waktu untuk merayapi halaman pencarian/label/arsip yang tidak begitu penting karena pada dasarnya halaman pencarian/label/arsip berisikan konten yang sama saja yang kontennya sudah terwakilkan oleh beranda dan postingan.

Arti "All, Noindex, Nofollow, NoSnippet, Dll" Pada Tag header robot kustom Blogger

Sudah cukup lama saya mencari tau apa arti "All, Noindex, Nofollow, NoSnippet, dll" pada Tag header robot kustom di Setelan Blogger dan belakangan tanpa sengaja saya menemukannya di Google Developers.

Berikut penjelasannya:

all

Tidak ada batasan untuk pengindeksan atau penayangan. Perintah ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit.

noindex

Jangan tampilkan halaman, media, atau resource ini dalam hasil penelusuran. Jika Anda tidak menentukan perintah ini, halaman, media, atau resource tersebut dapat diindeks dan ditampilkan dalam hasil penelusuran.

nofollow

Jangan ikuti link di halaman ini. Jika Anda tidak menentukan perintah ini, Google dapat menggunakan link pada halaman untuk menemukan halaman tertaut tersebut. Pelajari lebih lanjut nofollow.

none

Setara dengan noindex, nofollow.

noarchive

Jangan tampilkan link cache dalam hasil penelusuran. Jika Anda tidak menentukan perintah ini, Google dapat membuat halaman yang di-cache dan pengguna dapat mengaksesnya melalui hasil penelusuran.

nositelinkssearchbox

Jangan tampilkan kotak penelusuran sitelink di hasil penelusuran untuk halaman ini. Jika Anda tidak menentukan perintah ini, Google dapat membuat kotak penelusuran khusus untuk situs Anda di hasil penelusuran, beserta link langsung lainnya ke situs Anda.

nosnippet

Jangan tampilkan cuplikan teks atau pratinjau video di hasil penelusuran untuk halaman ini. Thumbnail gambar statis (jika ada) mungkin tetap terlihat jika dapat memberikan pengalaman pengguna yang lebih baik. Ini berlaku untuk semua bentuk hasil penelusuran (di Google Penelusuran Web, Google Gambar, Discover).

Jika Anda tidak menentukan perintah ini, Google dapat membuat cuplikan teks dan pratinjau video berdasarkan informasi yang ditemukan di halaman tersebut.

indexifembedded

Google diizinkan untuk mengindeks konten halaman jika disematkan di halaman lain melalui iframes atau tag HTML serupa, terlepas dari adanya perintah noindex.

indexifembedded hanya akan berpengaruh jika disertai dengan noindex.

max-snippet: [jumlah]

Gunakan maksimum [angka] karakter sebagai cuplikan tekstual untuk hasil penelusuran ini. (Perlu diketahui bahwa satu URL dapat ditampilkan sebagai beberapa hasil penelusuran di halaman hasil penelusuran.) Hal ini tidak memengaruhi pratinjau gambar atau video. Ini berlaku untuk semua bentuk hasil penelusuran (seperti Google Penelusuran Web, Google Gambar, Discover, Asisten). Namun, batas ini tidak berlaku jika penayang telah memberikan izin penggunaan konten secara terpisah. Misalnya, jika penayang menyediakan konten dengan bentuk data terstruktur dalam halaman atau memiliki perjanjian lisensi dengan Google, setelan ini tidak akan mengganggu penggunaan lebih spesifik yang diizinkan tersebut. Perintah ini akan diabaikan jika [angka] yang dapat diurai tidak ditentukan.

notranslate

Jangan menawarkan terjemahan halaman ini di hasil penelusuran. Jika Anda tidak menentukan perintah ini, Google dapat memberikan terjemahan cuplikan dan link judul hasil penelusuran untuk hasil yang tidak ditampilkan dalam bahasa kueri penelusuran. Jika pengguna mengklik terjemahan link judul, semua interaksi selanjutnya dari pengguna dengan halaman tersebut akan melalui Google Terjemahan, yang akan otomatis menerjemahkan link berikutnya.

noimageindex

Jangan mengindeks gambar di halaman ini. Jika Anda tidak menentukan nilai ini, gambar pada halaman dapat diindeks dan ditampilkan di hasil penelusuran.

unavailable_after: [tanggal/waktu]

Jangan menampilkan halaman ini di hasil penelusuran setelah tanggal/waktu yang ditentukan. Tanggal/waktu harus ditentukan dalam format yang digunakan secara luas termasuk, tetapi tidak terbatas pada RFC 822, RFC 850, dan ISO 8601. Perintah akan diabaikan jika tidak ada tanggal/waktu valid yang ditentukan. Secara default, tidak ada tanggal habis masa berlaku untuk konten.

Jika Anda tidak menentukan perintah ini, halaman ini dapat ditampilkan dalam hasil penelusuran tanpa batas waktu. Googlebot akan mengurangi kecepatan crawling URL secara signifikan setelah melewati tanggal dan waktu yang ditentukan.

Lebih jelasnya: https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=id

Selengkapnya di: https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag#directives

Demikian arti dari Tag header robot kustom di Setelan Blogger, namun ada satu tag lagi yang belum saya temukan artinya yaitu "noodp". Ada yang tau arti noodp? Semoga ketemu nanti biar bisa tidur nyenyak wkwk.