Cara Membuat Custom Robot.txt Yang Optimal di Blogger
Membuat Custom Robot.txt - Setiap bot perayapan mesin pencari pertama-tama berinteraksi dengan file robots.txt di situs web dan mengikuti aturan perayapannya.
Ini berarti bahwa file robots.txt memainkan peran penting dalam pengoptimalan mesin pencari (SEO) blog di Blogger.
Artikel ini akan memandu Anda tentang cara membuat file robots.txt khusus yang dioptimalkan dengan baik untuk Blogger dan bagaimana memahami implikasi dari halaman yang diblokir sebagaimana dilaporkan oleh Google Search Console.
Fungsi Robot.txt
File robots.txt memberi tahu mesin pencari halaman mana yang boleh dan tidak boleh dirayapi. Ini memungkinkan kita mengontrol perayapan oleh semua web spider.
Dalam file robots.txt, kita dapat mengatur aktivitas perayapan setiap user-agent dengan mengizinkan atau melarangnya.
Selain itu, kita juga dapat mendeklarasikan sitemap situs web untuk mesin pencari seperti Google, Bing, Yandex, dll. Sehingga, mesin pencari dapat dengan mudah menemukan dan mengindeks konten kita.
Tag meta robots berfungsi untuk mengontrol pengindeksan pada tingkat halaman, menentukan apakah halaman tersebut harus muncul dalam hasil pencarian atau tidak.
Biasanya, tag meta robots digunakan untuk menentukan apakah posting blog, halaman, atau konten web lainnya harus diindeks atau tidak.
Sementara itu, robots.txt biasa digunakan untuk mengendalikan perayapan bot mesin pencari.
Anda dapat mengizinkan seluruh situs web untuk dirayapi, tetapi hal ini akan menghabiskan anggaran perayapan.
Untuk menghemat anggaran perayapan, Anda harus memblokir bagian pencarian, arsip, dan label dari situs web.
Tag meta robots berada di tingkat halaman dan digunakan untuk memutuskan apakah halaman web harus muncul di SERP.
Selain itu, file robots.txt membantu mengendalikan bagaimana bot mesin pencari berperilaku di situs web.
Jika kita membiarkan bot menjelajahi seluruh situs web dengan bebas, hal itu dapat menghabiskan banyak sumber daya.
Untuk mengelola hal ini, kita dapat menggunakan robots.txt untuk memberi tahu bot agar tidak menjelajahi bagian tertentu, seperti pencarian, arsip, dan label.
Sehingga, kita dapat menghemat sumber daya dan memastikan bot fokus pada bagian penting dari situs web.
File Robots.txt bawaan Blog Blogger
Untuk mengoptimalkan file robots.txt untuk blog Blogger, pertama-tama kita perlu memahami struktur CMS dan menganalisis file robots.txt bawaan. File robots.txt bawaan Blogger, adalah sebagai berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml- Baris pertama (User-Agent) dari berkas ini menyatakan jenis bot. Di sini, bot tersebut adalah Google AdSense, yang tidak diizinkan (dinyatakan di baris ke-2). Ini berarti iklan AdSense dapat muncul di seluruh situs web.
- Agen pengguna berikutnya adalah *, yang berarti semua bot mesin pencari tidak diizinkan untuk mengakses halaman /search. Ini berarti melarang semua halaman pencarian dan label (dengan struktur URL yang sama).
- Tag 'Allow' digunakan untuk menentukan bahwa semua halaman, selain bagian yang tidak diizinkan, dapat dirayapi.
- Baris berikutnya berisi sitemap postingan untuk blog Blogger.
Jadi list diatas itu, adalah berkas yang hampir sempurna untuk mengendalikan bot mesin pencari dan memberikan petunjuk untuk halaman yang akan dirayapi atau tidak dirayapi.
Namun, berkas tersebut juga dapat memungkinkan pengindeksan halaman arsip yang dapat menyebabkan masalah konten duplikat. Artinya, berkas tersebut akan menghasilkan sampah untuk blog Blogger.
Mengoptimalkan File Robots.txt untuk Blog Blogger
Kita telah memahami cara kerja file robots.txt default untuk blog Blogger. Sekarang, mari kita optimalkan untuk SEO terbaik.
Robots.txt default memungkinkan pengindeksan arsip, yang dapat menyebabkan masalah konten duplikat. Kita dapat mencegah masalah ini dengan menghentikan bot dari merayapi bagian arsip. Untuk ini, aturan Disallow: /search* akan menonaktifkan perayapan semua halaman pencarian dan label.
Menerapkan aturan Disallow: /20* ke dalam file robots.txt akan menghentikan perayapan bagian arsip. Aturan /20* tersebut akan memblokir perayapan semua posting.
Jadi, untuk menghindarinya kita harus menerapkan aturan Allow: /*.html yang memungkinkan bot merayapi posting dan halaman.
Peta situs default hanya mencakup posting, bukan halaman. Oleh karena itu, Anda harus menambahkan peta situs untuk halaman yang berada di bawah https://example.blogspot.com/sitemap-pages.xml atau https://www.example.com/sitemap-pages.xml untuk domain kustom.
Anda dapat mengirimkan peta situs Blogger tersebut ke Google Search Console untuk hasil yang lebih optimal.
Jadi, file robots.txt khusus baru yang sempurna untuk blog Blogger akan terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: * # to select all crawling bots and search engines
Disallow: /search* # to block all user generated query item within the website.
Disallow: /20* # this line will disallow archieve section of Blogger.
Disallow: /feeds* # this line will disallow feeds. Read instruction below
Allow: /*.html # allow all post and pages of the blog
#sitemap of the blog
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml- /search* akan menonaktifkan perayapan semua halaman pencarian dan label.
- Terapkan aturan Disallow /20* ke dalam file robots.txt untuk menghentikan perayapan bagian arsip.
- Disallow: /feeds* Aturan ini akan melarang perayap untuk merayapi bagian umpan. Namun, jika Anda tidak membuat peta situs XML Blogger baru , jangan gunakan baris ini.
- Aturan /20* akan memblokir perayapan semua kiriman. Jadi untuk menghindarinya, kita harus menerapkan aturan Izinkan baru untuk bagian /*.html yang mengizinkan bot merayapi kiriman dan halaman.
Anda harus mengganti www.example.com dengan domain Blogger atau nama domain kustom Anda. Misalnya, misalkan nama domain kustom Anda adalah www.iashindu.com; maka peta situs akan berada di https://www.iashindu.com/sitemap.xml. Selain itu, Anda dapat memeriksa robots.txt saat ini di https://www.example.com/robots.txt.
Pada berkas di atas, pengaturannya adalah praktik robots.txt terbaik untuk SEO. Ini akan menghemat anggaran perayapan situs web dan membantu blog Blogger muncul di hasil pencarian. Anda harus menulis konten yang ramah SEO agar muncul di hasil pencarian.
Efek di Search Engine Console setelah menerapkan aturan ini di robots.txt
Penting untuk dicatat bahwa Google Search Console dapat melaporkan bahwa beberapa halaman diblokir oleh file robots.txt Anda . Namun, penting untuk memeriksa halaman mana yang diblokir.
Apakah halaman tersebut merupakan halaman konten atau halaman pencarian atau arsip? Kami tidak dapat menampilkan halaman pencarian dan arsip, itulah sebabnya halaman tersebut diblokir.
Tetapi jika Anda ingin mengizinkan bot menjelajahi seluruh situs web, maka Anda harus mengonfigurasi tag meta robot dan file robots.txt sedemikian rupa.
- Berkas robots.txt memungkinkan perayap untuk merayapi keseluruhan situs web.
- Tag Meta Robots melarang halaman yang tidak penting untuk diindeks.
Penggabungan robots.txt Blogger dan tag meta robots mungkin menghabiskan anggaran perayapan, tetapi alternatif yang lebih baik adalah meningkatkan SEO blog Blogger.
Cara Menerapkan File Robots.txt ke Blogger ?
File Robots.txt terletak di level root situs web. Tidak ada akses ke root di Blogger, jadi bagaimana Anda mengedit file robots.txt ini? Anda dapat mengakses file root seperti robots.txt di bagian pengaturan Blogger.
Keterangan :
- Buka Dashboard Blogger dan klik opsi pengaturan,
- Gulir ke bawah ke bagian perayap dan pengindeksan,
- Aktifkan robots.txt khusus dengan tombol sakelar,
- Klik custom robots.txt, sebuah jendela akan terbuka dan tempelkan file robots.txt lalu klik perbarui.
Setelah memperbarui file robots.txt khusus untuk blog Blogger, Anda dapat memeriksa perubahannya dengan mengunjungi domain Anda seperti https://www.example.com/robots.txt, di mana www.example.com harus diganti dengan alamat domain Anda.
Kesimpulan
Kami telah menjelajahi fungsi file robots.txt dan membuat file robots.txt kustom yang optimal untuk blog Blogger.
Dalam file robots.txt default, bagian arsip juga diizinkan untuk dijelajahi yang dapat menyebabkan masalah konten duplikat bagi mesin pencari.
Kebingungan ini bisa membuat Google tidak mempertimbangkan halaman apa pun untuk hasil pencarian.
Perlu diingat, Google Search Console dapat melaporkan halaman yang diblokir, tetapi penting untuk memahami halaman mana yang diblokir dan alasannya. Pemahaman ini akan membantu Anda mengoptimalkan situs untuk hasil SEO yang lebih baik.
Semoga artikel ini bermanfaat bagi Anda. Jika Anda memiliki keraguan atau pertanyaan tentang SEO Blogger atau WordPress, silakan berkomentar di kolom komentar.
